Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
基于流的应用程序中的受控/手动错误/恢复处理
我正在开发一个基于的应用程序Apache Flink 它利用Apache Kafka用于输入和输出 该应用程序可能会被移植到Apache Spark 所以我也将其添加为标签 问题仍然相同 我要求通过 kafka 接收的所有传入消息必须按顺序
apachespark
errorhandling
ApacheKafka
Stream
apacheflink
在 Kafka 生产者上启用幂等性是否会降低吞吐量
我有卡夫卡制作人启用幂等性 没有启用一次语义或事务 在休息端点调用中 我启用它的原因是因为我不希望卡夫卡重试导致任何重复 我担心以下几点 幂等性会减慢我的端点速度吗 这个端点需要非常快 我读了 kafka api 文档 启用幂等性将使重试无
ApacheKafka
kafkaproducerapi
Confluence Schema 注册表持久化
我希望即使服务器重新启动也能够保留具有固定 id 的模式 是否可以将架构保留在架构注册表中 以便在服务器崩溃后使它们具有相同的 id 否则 当模式注册服务器启动时 是否可以对具有固定 id 的模式进行硬编码 这就是模式注册的目的 模式有一个
ApacheKafka
schema
confluentschemaregistry
KTable 应该发出的事件
我正在尝试测试一个拓扑 该拓扑作为最后一个节点 具有 KTable 我的测试是使用成熟的 Kafka 集群 通过 confluence 的 Docker 镜像 所以我not使用TopologyTestDriver 我的拓扑有键值类型的输入S
scala
ApacheKafka
apachekafkastreams
对 Kafka 的一次性语义感到困惑
所以我一直在阅读关于卡夫卡的一次语义 我对它的工作原理有点困惑 我了解生产者如何避免发送重复消息 以防来自代理的确认失败 但我不明白的是 在消费者处理消息但在提交偏移量之前崩溃的情况下 exactly once 是如何工作的 在这种情况下k
ApacheKafka
从主题读取后立即异步提交消息
我正在尝试在阅读主题后立即提交一条消息 我已点击此链接 https www confluence io blog apache kafka spring boot application https www confluent io blo
Java
Spring
ApacheKafka
Consumer.endOffsets 在 Kafka 中如何工作?
假设我有一个无限期运行的计时器任务 它会迭代 kafka 集群中的所有消费者组 并输出每个组的所有分区的延迟 提交偏移量和结束偏移量 与 Kafka 控制台消费者组脚本的工作方式类似 只不过它适用于所有组 就像是 单个消费者 不工作 不返回
Java
ApacheKafka
kafkaconsumerapi
springKafka
Spring Kafka 与嵌入式 Kafka 集成测试
我有一个 Spring Boot 应用程序 它有一个消费者从一个集群中的主题消费并生成到不同集群中的另一个主题 现在我正在尝试使用 Spring 嵌入式 Kafka 编写集成测试用例 但遇到了问题KafkaTemplate could no
Java
springboot
ApacheKafka
springKafka
springkafkatest
卡夫卡保留政策
假设我有一个多代理 在同一主机上运行 Kafka 设置 其中包含 3 个代理和 50 个主题 每个主题配置为具有 7 个分区和 3 的复制因子 我有 50GB 内存可用于 kafka 并确保 Kafka 日志永远不会超过此内存量 因此我想配
ApacheKafka
Kafka 0.8,是否可以使用java代码创建带有分区和复制的主题?
在 Kafka 0 8beta 中 可以使用下面提到的命令创建主题here http kafka apache org 08 quickstart html bin kafka create topic sh zookeeper local
ApacheKafka
Kafka 忽略生产者的“transaction.timeout.ms”
我使用以下命令将生产者配置为 10 秒超时transaction timeout ms财产 然而 交易似乎在 60 秒后中止 这个时间要长得多 请看下面的程序 Properties properties new Properties pro
ApacheKafka
Kafka Consumer Group Id 和消费者重新平衡问题
我正在使用卡夫卡0 10 0和动物园管理员3 4 6在我的生产服务器中 我有 20 个主题 每个主题大约有 50 个分区 我总共有 100 个消费者 每个消费者订阅了不同的主题和分区 所有消费者都具有相同的 groupId 那么 如果针对特
ApacheKafka
kafkaconsumerapi
apachekafkaconnect
Kafka应用程序启动时无法配置主题,但稍后可以通信
我们有一个使用 spring kafka 2 2 5 RELEASE 的 Spring Boot 应用程序 在启动时总是出现此错误 Could not configure topics org springframework kafka K
springboot
ApacheKafka
springKafka
从kafka主题中删除单个记录
有没有办法从kafka主题中删除单个记录 我知道有一个脚本 kafka delete records sh 可以删除指定主题和分区上指定偏移量之前的记录 但我希望能够删除我指定的偏移量上的记录 有没有办法做到这一点 这不是在 Java 上
ApacheKafka
Kafka Connect - 删除带有配置的连接器?
我知道如何删除 Kafka 连接器 如此处所述Kafka Connect 如何删除连接器 https stackoverflow com questions 48947250 kafka connect how to delete a co
ApacheKafka
apachekafkaconnect
如何从容器外部调整/编辑/添加/更改 kafka docker 容器参数
我们有如下的 kafka docker 容器 在 Linux redhat 7 5 上 我们根据 在容器上创建了 kafka 服务 https docs confluence io 5 0 0 installation docker doc
Docker
ApacheKafka
kafka Consumer 0.10 向后兼容吗?
kafka消费者0 10与0 9代理兼容吗 如果我没记错的话 0 9 消费者仍然被认为是测试版 而 0 10 是稳定的 对吗 这就是为什么我有兴趣使用 0 10 版本 但我的代理版本是 0 9 我还不想升级 如果您想使用 0 10 客户端
ApacheKafka
kafkaconsumerapi
重试来自 Kafka 死信队列的消息的最佳实践是什么
我们使用 Kafka 作为微服务之间的消息传递系统 我们有一个 kafka 消费者监听一个特定的主题 然后将数据发布到另一个主题中 由 Kafka Connector 接收 Kafka Connector 负责将其发布到某些数据存储中 我们
ApacheKafka
errorhandling
Kafka消费者默认组ID
我正在使用 Apache Kafka 及其 Java 客户端 我发现消息在属于同一组的不同 Kafka Consumer 之间进行负载平衡 即共享相同的组 id 在我的应用程序中 我需要所有消费者阅读所有消息 所以我有几个问题 如果我没有在
ApacheKafka
kafkaconsumerapi
Kafka分区中消息分布不均匀
我有一个主题 有 10 个分区 1 个消费者组 有 4 个消费者 工作线程大小为 3 我可以看到分区中的消息分布不均匀 一个分区有太多数据 而另一个分区是空闲的 如何让我的生产者将负载均匀分配到所有分区 以便所有分区都得到正确利用 根据De
ApacheKafka
kafkaproducerapi
«
1 ...
3
4
5
6
7
8
9
...34
»