Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
如何评估kafka流应用程序的消耗时间
我有 1 0 0 kafka 流应用程序 有两个类 如下所示 class FilterByPolicyStreamsApp 和 class FilterByPolicyTransformerSupplier 在我的应用程序中 我读取事件 执
ApacheKafka
apachekafkastreams
Kafka 中的“__consumer_offsets”主题是什么
当我运行此命令时 我得到 2 个主题 我知道我创建了测试主题 但我看到了一个名为 consumer offsets 的附加主题 从名称上看 它与消费者抵消有关 但它是如何使用的呢 bin kafka topics sh list zooke
ApacheKafka
通过 Kafka 消费者重试维持订单保证
我正在为基于 Kafka 的数据处理管道中的消费者重试设计一个架构 我们正在使用 Kafka 生产者和消费者 并且正在考虑重试主题 如果消费出错 将在这些主题上发送消息 将会有消费者以一定的节奏运行这些重试主题 我读了很多参考架构 但没有一
ApacheKafka
kafkaconsumerapi
带有 Kafka 消费者的 Spring Boot 作业调度程序
我正在开发一个 POC 我想使用来自 Kafka 主题 用户 的消息 尝试实现消费者应该从 Kafka 主题读取消息 一旦 spring boot 调度程序在预定时间或 cron 时间触发 那么我们应该开始从 kafka 主题中一一消费现有
Spring
ApacheKafka
springKafka
如何连接Kafka和Elasticsearch?
我是Kafka的新手 我使用kafka通过logstash收集netflow 可以 并且我想将数据从kafka发送到elasticsearch 但是存在一些问题 我的问题是如何将 Kafka 与 Elasticsearch 连接起来 net
elasticsearch
ApacheKafka
kafkaconsumerapi
apachekafkaconnect
批量插入成功后更新 Kafka 提交偏移量
我有一个 spring kafka 消费者 它读取记录并将其移交给缓存 计划任务会定期清除缓存中的记录 我想仅在批次成功保存到数据库后更新 COMMIT OFFSET 我尝试将确认对象传递给缓存服务以调用确认方法 如下所示 public c
Java
Spring
ApacheKafka
springKafka
Kafka服务器未远程连接zookeeper服务器
我正在尝试将 kafka 服务器 在 Windows 系统上 连接到 Zookeeper 服务器 我面临着 Opening socket connection to server 10 160 10 25 10 160 10 25 2181
ApacheKafka
KeeperErrorCode = /admin/preferred_replica_election 的 NoNode
当我启动kafka时 zookeeper发生错误 INFO Got user level KeeperException when processing sessionid 0x156028651c00001 type delete cxi
ApacheKafka
apachezookeeper
Kafka 连接教程停止工作
我在此链接中执行了步骤 7 使用 Kafka Connect 导入 导出数据 http kafka apache org documentation html quickstart http kafka apache org documen
WARN 获取相关 ID 为 1 的元数据时出错:{MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient)
当我使用 kafka 运行以下命令时0 9 0 1 我收到这些警告 1 你能告诉我我的主题有什么问题吗 我正在与在 ec2 中运行的 kafka 经纪人交谈 kafka console consumer sh new consumer bo
JMS
ApacheKafka
kafkaconsumerapi
jmstopic
kafkaproducerapi
使用kafka lib反序列化PRIMITIVE AVRO KEY
我目前无能力反序列化 avro PRIMITIVE 密钥在 KSTREAM 应用程序中 使用 avro 模式编码的密钥 在模式注册表中注册 当我使用 kafka avro console consumer 时 我可以看到密钥已正确反序列化
Java
ApacheKafka
Avro
apachekafkastreams
confluentschemaregistry
当记录处理时间超过“max.poll.interval.ms”时,在消费过程中记录/消息会发生什么?
我的消费者设置如下 auto offset reset earliest enable auto commit true default value session timeout ms 10000 default value max po
ApacheKafka
如何强制消费者读取kafka中的特定分区
我有一个应用程序 用于从 1 个 Kafka 生产者生成的 URL 流中下载特定的 Web 内容 我创建了一个有 5 个分区的主题 有 5 个 kafka 消费者 但网页下载的超时时间为 60 秒 当下载其中一个 URL 时 服务器会假设消
ApacheKafka
kafkapython
GCP Dataproc 作业未找到存储在存储桶中的 SSL pem 证书
我有一个 GCP Dataproc 集群 我正在尝试部署一个 pyspark 作业 该作业使用 SSL 生成一个主题 pem 文件存储在存储桶 gs dataproc kafka code code 中 我正在使用下面所示的代码访问 pem
SSL
googlecloudplatform
ApacheKafka
googleclouddataproc
如何使用不同的kafka主题配置Kubernetes部署的微服务的每个pod/进程?
在我们的应用程序中 有多个不同 kafka 主题的消费者 例如 Cosumer C1 Cosumer C2 Cosumer C3 Cosumer C4 Cosumer C5 以及不同的 kafka 主题 例如主题 1 主题 2 主题 3 主
ApacheKafka
kafkaconsumerapi
Kafka Connect 进入重新平衡循环
我刚刚部署了 Kafka Connect 我只使用连接源 MQTT 应用程序位于两个实例的集群上 2 个容器上 机器 现在它似乎进入了一种重新平衡循环 我一开始有一点数据 但没有新数据出现 这就是我在日志中得到的内容 2017 08 11
ApacheKafka
kafkaconsumerapi
apachekafkaconnect
尝试升级到 flink 1.3.1 时出现异常
我尝试将集群中的 flink 版本升级到 1 3 1 以及 1 3 2 但我的任务管理器中出现以下异常 2018 02 28 12 57 27 120 ERROR org apache flink streaming runtime tas
ApacheKafka
apacheflink
flinkstreaming
卡夫卡幂等生产者
卡夫卡文档说 幂等生产者可以使用相同的生产者会话 但我无法理解这一点 比如说 Kafka 为每条消息添加序列号 最后一个序列号保存在 Kafka 中 不确定它在哪里维护 它如何生成序列号以及它保存在哪里 为什么当生产者崩溃并再次出现时它无法
ApacheKafka
卡夫卡高级消费者 error_code=15
当尝试使用高级消费者 使用全新的消费者组 从 Kafka 进行消费时 消费者永远不会开始运行 当我将日志记录级别切换为调试时 我可以看到以下两行一遍又一遍地重复 DEBUG AbstractCoordinator 09 43 51 192
ApacheKafka
kafkaconsumerapi
处理 Kafka Broker 宕机时的故障
我有一个 Kafka 代理正在运行 消息已成功消费 但我想处理 Kafka 代理在 Kafka 消费者端出现故障的情况 我读过了this https github com spring projects spring kafka issue
Java
Spring
springboot
ApacheKafka
springKafka
«
1
2
3
4
5
6
7
...34
»