Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
如何从kafka服务器获取主题中的所有消息
我想从服务器获取主题中从头开始的所有消息 Ex bin kafka console consumer sh zookeeper localhost 2181 topic testTopic from beginning 当使用上面的控制台命
ApacheKafka
kafkaconsumerapi
每当事件发生时触发 Spark 作业
我有一个 Spark 应用程序 每当收到有关某个主题的 kafka 消息时就应该运行 我每天不会收到超过 5 6 条消息 因此我不想采用 Spark Streaming 方法 相反 我尝试使用提交申请SparkLauncher但我不喜欢这种
Java
apachespark
ApacheKafka
runtimeexec
kafkaconsumerapi
批处理模式下 Kafka headers 作为列表
我试图在以批处理模式消费消息的同时访问一些标头 如果我设置监听器来处理Message data Acknowledgment ack throws SQLException for int i 0 i lt data size Object
ApacheKafka
kafkaconsumerapi
springKafka
fetch.max.wait.ms 与 poll() 方法的参数
在提出问题之前 我想指出已经有人提出了类似的问题here https stackoverflow com questions 50302119 apache kafka understanding the relationship betw
ApacheKafka
kafkaconsumerapi
我可以在 Kafka Broker 所在的同一台机器上运行 Kafka Streams 应用程序吗?
我有一个 Kafka Streams 应用程序 它从几个主题获取数据并连接数据并将其放入另一个主题中 卡夫卡配置 5 kafka brokers Kafka Topics 15 partitions and 3 replication fa
ApacheKafka
kafkaconsumerapi
kafkaproducerapi
apachekafkastreams
spring-kafka AckMode 中的 MANUAL 和 MANUAL_IMMEDIATE 有什么区别
从 spring docs 中 我可以看到 MANUAL 消息监听器负责acknowledge 确认 之后 应用与 BATCH 相同的语义 手动 立即 当侦听器调用 Acknowledgment acknowledge 方法时立即提交偏移量
ApacheKafka
kafkaconsumerapi
springKafka
事件计数的窗口聚合
我对我的卡夫卡事件进行了分组 private static void createImportStream final StreamsBuilder builder final Collection
Java
ApacheKafka
kafkaconsumerapi
apachekafkastreams
简单的 Kafka Consumer 未收到消息
我是 Kafka 的新手 正在运行一个简单的 Kafka 消费者 生产者示例 如上所示Kafka消费者 https kafka apache org 0102 javadoc index html org apache kafka clie
Java
Maven
ApacheKafka
kafkaconsumerapi
Kafka-node突然从偏移量0开始消费
有时 kafka node 消费者从偏移量 0 开始消费 而其默认行为是仅消费较新的消息 然后它不会切换回默认行为 您知道如何解决这个问题以及会发生什么以及其行为突然发生变化吗 代码非常简单 并且无需更改代码即可完成此操作 var kafk
nodejs
ApacheKafka
kafkaconsumerapi
nodekafka
Kafka 发送重复消息
我们使用 kafka 0 9 0 0 来编排不同微服务之间的命令消息 我们发现一个间歇性问题 即重复消息被传递到特定主题 下面给出了发生此问题时出现的日志 有人可以帮助理解这个问题吗 Wed 21 Sep 2016 09 19 07 WAR
ApacheKafka
kafkaconsumerapi
kafkapython
Kafka java消费者SSL握手错误:java.security.cert.CertificateException:不存在主题备用名称
我正在运行 kafka 2 13 2 4 1 并配置用 java 编写的 kafka 客户端 消费者 和 kafka 集群 3 个节点 每个节点有一个代理 之间的 SSL 连接 我通过使用官方文档Confluence 的文档 https d
Java
SSL
ApacheKafka
kafkaconsumerapi
apachekafkasecurity
如何在kafka中初始化kafka ConsumerRecords
进行测试
我正在为 kafka 消费者组件和模拟编写测试用例kafkaConsumer poll 它返回的实例ConsumerRecords
Java
mocking
ApacheKafka
PowerMock
kafkaconsumerapi
Apache Kafka 和 Avro:org.apache.avro.generic.GenericData$Record 无法转换为 com.harmeetsingh13.java.Customer
每当我尝试从 kafka 队列读取消息时 我都会收到以下异常 error run main 0 java lang ClassCastException org apache avro generic GenericData Record
Java
ApacheKafka
Avro
kafkaconsumerapi
kafkaproducerapi
了解 Kafka 主题和分区
我开始学习卡夫卡 在阅读过程中 我想到了一些问题 当生产者生成消息时 它会指定topic它想要将消息发送到 是对的吗 它关心分区吗 当订阅者运行时 它是否指定其组ID 以便它可以成为同一主题或该组消费者感兴趣的多个主题的消费者集群的一部分
ApacheKafka
kafkaconsumerapi
kafkaproducerapi
kafka-python 中的多处理
我一直在使用 python kaka 模块从 kafka 代理中消费 我想并行使用具有 x 个分区的同一主题 该文档有这样的内容 Use multiple consumers in parallel w 0 9 kafka brokers
ApacheKafka
kafkaconsumerapi
kafkapython
Kafka简单消费者间歇性丢失消息
我有一个 Kafka 应用程序 我一直在其中使用 kafka console consumer sh 消费消息 如下所示 kafka console consumer sh zookeeper zookeeperhost 2181 topi
Java
ApacheKafka
kafkaconsumerapi
如何修复在python中接收不到kafka消息但在shell中接收到相同消息的问题?
我想消费来自 kafka 主题的消息 我正在使用 debezium 它记录 mongodb 更改并将它们放入 kafka 队列中 我可以使用 python 代码连接到 kafka 列出 kafka 主题 虽然 当我想使用消息时 它都是空白的
python
ApacheKafka
kafkaconsumerapi
Kafka重启时如何让Kafka Source重新连接
我创建一个Source使用 Reactive Kafka 的消费者记录如下 val settings ConsumerSettings system keyDeserializer valueDeserializer withBootstr
Java
scala
akka
ApacheKafka
kafkaconsumerapi
使用 Spark Streaming 更新基于 Kafka Stream 的静态源?
我正在使用带有 java8 的 Spark sql 2 4 1v 我有一个场景 dataset1 中有一些元数据 即从 HDFS Parquet 文件加载 我还有另一个从 Kafka Stream 读取的 dataset2 For each
什么情况下endOffset>lastMsg.offset+1?
Kafka 对于分区返回 endOffset 15 但可以使用的最后一条消息的偏移量为 13 而不是我期望的 14 我想知道为什么 The 卡夫卡文档 https kafka apache org 28 javadoc org apache
ApacheKafka
kafkaconsumerapi
«
1
2
3
4
5
6
7
»