Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Kafka:如何获取主题的最后修改时间,即添加到主题的任何分区的最后一条消息
我们的用例是从 kafka 中删除陈旧 未使用的主题 即如果某个主题 在所有分区上 在过去 7 天内没有任何新消息 那么我们会将其视为陈旧 未使用并删除它 许多谷歌结果建议向消息添加时间戳 然后解析它 对于新主题和消息 灵魂可以工作 但我们
ApacheKafka
kafkaconsumerapi
kafka消费者群体正在重新平衡
我正在使用 Kafka 9 和新的 java 消费者 我正在循环内进行轮询 当代码尝试执行 Consumer commitSycn 时 由于组重新平衡 我收到 commitfailedexcption 请注意 我将 session time
ApacheKafka
kafkaconsumerapi
使用 offsets_for_times 从时间戳消费
尝试使用 confluence kafka AvroConsumer 来消费给定时间戳的消息 if flag creating a list topic partitons to search list map lambda p Topic
python
ApacheKafka
kafkaconsumerapi
confluentkafkapython
如何在 Python 中以编程方式检查 Kafka Broker 是否已启动并运行
我正在尝试使用来自 Kafka 主题的消息 我正在使用包装器confluent kafka消费者 我需要在开始使用消息之前检查连接是否已建立 我读到消费者很懒 所以我需要执行一些操作才能建立连接 但我想检查连接建立而不执行consume o
python
ApacheKafka
kafkaconsumerapi
kafkapython
卡夫卡主题查看器? [关闭]
Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我想调试一些 Kafka 主题 这样我就知道消费者或生产者是否有问题 Kafka 是否有一个 UI 我
ApacheKafka
kafkaconsumerapi
Apache Kafka 是否提供异步订阅回调 API?
我的项目正在将 Apache Kafka 视为老化的基于 JMS 的消息传递方法的潜在替代品 为了让这个过渡尽可能的顺利 如果替代的排队系统 Kafka 有一个异步订阅机制那就更理想了 类似于我们当前项目使用的JMS机制MessageLis
Java
Asynchronous
ApacheKafka
MessageQueue
kafkaconsumerapi
KafkaConsumer.commitAsync() 行为的偏移量比以前更低
kafka 将如何处理调用 KafkaConsumer commitAsync Map
Java
ApacheKafka
kafkaconsumerapi
offset
springKafka
Kafka Consumer 无法加载任何密钥库类型和路径的 SSL 密钥库(Logstash ArcSight 模块)
我需要为 Kafka Consumer 提供客户端身份验证证书 但是 它总是失败并出现以下异常 无法加载 SSL 密钥库 ssl cipher suites null ssl enabled protocols TLSv1 2 TLSv1
ApacheKafka
Logstash
kafkaconsumerapi
ElasticStack
arcsight
Apache kafka - 消费者延迟选项
我想在 Kafka 中为特定主题稍稍延迟启动一个消费者 具体来说 我希望消费者在从生成消息的时间起经过特定的时间延迟后开始使用该主题的消息 Kafka 中有任何属性或选项可以启用它吗 我们对火花流做了同样的事情 我希望 这种方法也适合您 这
ApacheKafka
kafkaconsumerapi
编辑 Kafka Listener Spring 应用程序以更改阶段/目标
我可以利用另一个运行 Kafka 应用程序 代码库的团队来使用相同的数据 将其加载到我们的新暂存表中 而不是他们的 他们在 Messages 文件夹中有许多不同的 kafka 侦听器适配器 java 文件 每个文件消耗不同类型的数据 每个
ApacheKafka
kafkaconsumerapi
springKafka
带有安全 Kafka 抛出的 Spark 结构化流:无权访问组异常
为了在我的项目中使用结构化流 我正在 hortonworks 2 6 3 环境上测试 Spark 2 2 0 和 Kafka 0 10 1 与 Kerberos 的集成 我正在运行下面的示例代码来检查集成 我能够在 Spark 本地模式下的
Hadoop
apachespark
ApacheKafka
kerberos
kafkaconsumerapi
从副本消费
Kafka 将主题的每个分区复制到指定的复制因子 据我所知 所有写入和读取请求都会路由到分区的领导者 有没有办法从追随者那里消费而不是从领导者那里消费 Kafka中的复制只是为了故障转移吗 在 Kafka 2 3 及更早版本中 您只能从领导
ApacheKafka
kafkaconsumerapi
kafka消费端Offsets的一致性
我有复制因子为 3 的卡夫卡主题min insync replicas 2 一个向该主题发送 X 条消息的生产者acks all 一段时间后 1 分钟内 在所有消息发送到主题后 将使用 java kafka 客户端为此主题创建新的消费者 使
Java
ApacheKafka
kafkaconsumerapi
是否可以使用Kafka传输文件?
我每天都会生成数千个文件 我想使用 Kafka 进行流式传输 当我尝试读取该文件时 每一行都被视为一条单独的消息 我想知道如何将每个文件的内容作为 Kafka 主题中的单个消息 以及消费者如何将 Kafka 主题中的每条消息写入单独的文件中
ApacheKafka
kafkaconsumerapi
kafkaproducerapi
Kafka 适合运行公共 API 吗?
我有一个想要发布的事件流 它被划分为主题 不断更新 需要水平扩展 并且没有 SPOF 很好 并且可能需要在某些情况下重播旧事件 所有的功能似乎都与 Kafka 的功能相匹配 我想通过任何人都可以连接并获取事件的公共 API 将其发布到全世界
ApacheKafka
kafkaconsumerapi
Spring Kafka MessageListenerContainer
我看到 spring Kafka 代码 我有一些疑问 如果我们使用 1 个 kafkaListener 和 2 个主题 那么 spring Kafka 将创建一个 MessageListenerContainer 如果我为每个主题使用单独的
ApacheKafka
kafkaconsumerapi
springKafka
动态创建消费者spring kafka
我正在创建一个与另一个服务通信的服务 以便识别要收听的 kafka 主题 kafka主题可能有不同的键和值类型 因此 我想为每个配置 主题 键类型 值类型 动态创建不同的 kafka 消费者 其中配置仅在运行时已知 然而在 spring k
ApacheKafka
kafkaconsumerapi
springKafka
Kafka 一遍又一遍地重放消息 - 心跳会话已过期 - 标记协调器已死亡
使用 python kafka api 从只有少量消息的主题中读取消息 Kafka 不断地一遍又一遍地重放队列中的消息 它从我的主题接收一条消息 返回每条消息内容 然后抛出ERROR Heartbeat session expired ma
python
ApacheKafka
kafkaconsumerapi
通过 Kafka 消费者重试维持订单保证
我正在为基于 Kafka 的数据处理管道中的消费者重试设计一个架构 我们正在使用 Kafka 生产者和消费者 并且正在考虑重试主题 如果消费出错 将在这些主题上发送消息 将会有消费者以一定的节奏运行这些重试主题 我读了很多参考架构 但没有一
ApacheKafka
kafkaconsumerapi
如何连接Kafka和Elasticsearch?
我是Kafka的新手 我使用kafka通过logstash收集netflow 可以 并且我想将数据从kafka发送到elasticsearch 但是存在一些问题 我的问题是如何将 Kafka 与 Elasticsearch 连接起来 net
elasticsearch
ApacheKafka
kafkaconsumerapi
apachekafkaconnect
1
2
3
4
5
6
7
»