Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
编辑 Kafka Listener Spring 应用程序以更改阶段/目标
我可以利用另一个运行 Kafka 应用程序 代码库的团队来使用相同的数据 将其加载到我们的新暂存表中 而不是他们的 他们在 Messages 文件夹中有许多不同的 kafka 侦听器适配器 java 文件 每个文件消耗不同类型的数据 每个
ApacheKafka
kafkaconsumerapi
springKafka
带有安全 Kafka 抛出的 Spark 结构化流:无权访问组异常
为了在我的项目中使用结构化流 我正在 hortonworks 2 6 3 环境上测试 Spark 2 2 0 和 Kafka 0 10 1 与 Kerberos 的集成 我正在运行下面的示例代码来检查集成 我能够在 Spark 本地模式下的
Hadoop
apachespark
ApacheKafka
kerberos
kafkaconsumerapi
从副本消费
Kafka 将主题的每个分区复制到指定的复制因子 据我所知 所有写入和读取请求都会路由到分区的领导者 有没有办法从追随者那里消费而不是从领导者那里消费 Kafka中的复制只是为了故障转移吗 在 Kafka 2 3 及更早版本中 您只能从领导
ApacheKafka
kafkaconsumerapi
kafka消费端Offsets的一致性
我有复制因子为 3 的卡夫卡主题min insync replicas 2 一个向该主题发送 X 条消息的生产者acks all 一段时间后 1 分钟内 在所有消息发送到主题后 将使用 java kafka 客户端为此主题创建新的消费者 使
Java
ApacheKafka
kafkaconsumerapi
是否可以使用Kafka传输文件?
我每天都会生成数千个文件 我想使用 Kafka 进行流式传输 当我尝试读取该文件时 每一行都被视为一条单独的消息 我想知道如何将每个文件的内容作为 Kafka 主题中的单个消息 以及消费者如何将 Kafka 主题中的每条消息写入单独的文件中
ApacheKafka
kafkaconsumerapi
kafkaproducerapi
Kafka 适合运行公共 API 吗?
我有一个想要发布的事件流 它被划分为主题 不断更新 需要水平扩展 并且没有 SPOF 很好 并且可能需要在某些情况下重播旧事件 所有的功能似乎都与 Kafka 的功能相匹配 我想通过任何人都可以连接并获取事件的公共 API 将其发布到全世界
ApacheKafka
kafkaconsumerapi
Spring Kafka MessageListenerContainer
我看到 spring Kafka 代码 我有一些疑问 如果我们使用 1 个 kafkaListener 和 2 个主题 那么 spring Kafka 将创建一个 MessageListenerContainer 如果我为每个主题使用单独的
ApacheKafka
kafkaconsumerapi
springKafka
动态创建消费者spring kafka
我正在创建一个与另一个服务通信的服务 以便识别要收听的 kafka 主题 kafka主题可能有不同的键和值类型 因此 我想为每个配置 主题 键类型 值类型 动态创建不同的 kafka 消费者 其中配置仅在运行时已知 然而在 spring k
ApacheKafka
kafkaconsumerapi
springKafka
Kafka 一遍又一遍地重放消息 - 心跳会话已过期 - 标记协调器已死亡
使用 python kafka api 从只有少量消息的主题中读取消息 Kafka 不断地一遍又一遍地重放队列中的消息 它从我的主题接收一条消息 返回每条消息内容 然后抛出ERROR Heartbeat session expired ma
python
ApacheKafka
kafkaconsumerapi
通过 Kafka 消费者重试维持订单保证
我正在为基于 Kafka 的数据处理管道中的消费者重试设计一个架构 我们正在使用 Kafka 生产者和消费者 并且正在考虑重试主题 如果消费出错 将在这些主题上发送消息 将会有消费者以一定的节奏运行这些重试主题 我读了很多参考架构 但没有一
ApacheKafka
kafkaconsumerapi
如何连接Kafka和Elasticsearch?
我是Kafka的新手 我使用kafka通过logstash收集netflow 可以 并且我想将数据从kafka发送到elasticsearch 但是存在一些问题 我的问题是如何将 Kafka 与 Elasticsearch 连接起来 net
elasticsearch
ApacheKafka
kafkaconsumerapi
apachekafkaconnect
Kafka 连接教程停止工作
我在此链接中执行了步骤 7 使用 Kafka Connect 导入 导出数据 http kafka apache org documentation html quickstart http kafka apache org documen
WARN 获取相关 ID 为 1 的元数据时出错:{MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient)
当我使用 kafka 运行以下命令时0 9 0 1 我收到这些警告 1 你能告诉我我的主题有什么问题吗 我正在与在 ec2 中运行的 kafka 经纪人交谈 kafka console consumer sh new consumer bo
JMS
ApacheKafka
kafkaconsumerapi
jmstopic
kafkaproducerapi
如何使用不同的kafka主题配置Kubernetes部署的微服务的每个pod/进程?
在我们的应用程序中 有多个不同 kafka 主题的消费者 例如 Cosumer C1 Cosumer C2 Cosumer C3 Cosumer C4 Cosumer C5 以及不同的 kafka 主题 例如主题 1 主题 2 主题 3 主
ApacheKafka
kafkaconsumerapi
Kafka Connect 进入重新平衡循环
我刚刚部署了 Kafka Connect 我只使用连接源 MQTT 应用程序位于两个实例的集群上 2 个容器上 机器 现在它似乎进入了一种重新平衡循环 我一开始有一点数据 但没有新数据出现 这就是我在日志中得到的内容 2017 08 11
ApacheKafka
kafkaconsumerapi
apachekafkaconnect
卡夫卡高级消费者 error_code=15
当尝试使用高级消费者 使用全新的消费者组 从 Kafka 进行消费时 消费者永远不会开始运行 当我将日志记录级别切换为调试时 我可以看到以下两行一遍又一遍地重复 DEBUG AbstractCoordinator 09 43 51 192
ApacheKafka
kafkaconsumerapi
通过API服务端点消费来自Kafka主题的消息
目前 我有一个 API 服务端点 用 netcore6 C 编写 它将接受消息对象并将其保存到数据库 然后将该消息发布到 kafka topic 2 如何利用我的 API 服务端点始终监听 观看并连接到 kafka topic 1 一旦新消
c
ApacheKafka
eventhandling
kafkaconsumerapi
EventListener
无法通过 KAFKA api 连接到 EventHub
通过 kafka 库连接事件中心时遇到异常 Caused by org apache kafka common protocol types SchemaException Error reading field sasl auth byt
Java
kafkaconsumerapi
azureeventhub
卡夫卡消费者陷入(重新)加入组
如果 kafka 版本 0 10 消费者尝试重新加入消费者组 其默认行为是什么 我正在将单个消费者用于消费者组 但似乎它在重新加入时受到了打击 每 10 分钟后 它会在消费者日志中打印以下行 2016 08 11 13 54 53 803
ApacheKafka
kafkaconsumerapi
Consumer.endOffsets 在 Kafka 中如何工作?
假设我有一个无限期运行的计时器任务 它会迭代 kafka 集群中的所有消费者组 并输出每个组的所有分区的延迟 提交偏移量和结束偏移量 与 Kafka 控制台消费者组脚本的工作方式类似 只不过它适用于所有组 就像是 单个消费者 不工作 不返回
Java
ApacheKafka
kafkaconsumerapi
springKafka
1
2
3
4
5
6
»