程序员经验分享-hwhale

卡夫卡消费者偏移最大值？

2024-01-06

我正在谷歌搜索并阅读 Kafka 文档，但我无法找到消费者偏移量的最大值以及最大值之后是否存在偏移量环绕。 我知道 offset 是一个 Int64 值，所以最大值是 0xFFFFFFFFFFFFFFFF。 如果存在wraparound，Kafka如何处理这种情况？


根据这个post http://mail-archives.apache.org/mod_mbox/incubator-kafka-users/201111.mbox/%3CCAFbh0Q3wXeivW9G+xre5eN8-SLVprdNLWyKmd+CcW6n=A=ZSHQ@mail.gmail.com%3E，偏移量不重置：

目前我们不会回滚偏移量。由于偏移量很长，因此 可以持续很长时间。如果您每天写入 1TB，您可以继续下去 大约400万天。

另外，您始终可以使用更多分区（每个分区都有自己的 抵消）。

正如卢西亚诺所说，可能不值得担心。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

offset

ApacheKafka

kafkaconsumerapi

卡夫卡消费者偏移最大值？ 的相关文章

  • 从副本消费

    Kafka 将主题的每个分区复制到指定的复制因子 据我所知 所有写入和读取请求都会路由到分区的领导者 有没有办法从追随者那里消费而不是从领导者那里消费 Kafka中的复制只是为了故障转移吗 在 Kafka 2 3 及更早版本中 您只能从领导

  • 带有安全 Kafka 抛出的 Spark 结构化流：无权访问组异常

    为了在我的项目中使用结构化流 我正在 hortonworks 2 6 3 环境上测试 Spark 2 2 0 和 Kafka 0 10 1 与 Kerberos 的集成 我正在运行下面的示例代码来检查集成 我能够在 Spark 本地模式下的

  • Apache kafka - 消费者延迟选项

    我想在 Kafka 中为特定主题稍稍延迟启动一个消费者 具体来说 我希望消费者在从生成消息的时间起经过特定的时间延迟后开始使用该主题的消息 Kafka 中有任何属性或选项可以启用它吗 我们对火花流做了同样的事情 我希望 这种方法也适合您 这

  • 无法找到任何实现 Connector 且名称与 io.debezium.connector.mysql.MySqlConnector 匹配的类，可用的连接器有

    使用 Kafka MySQL 和 Debezium 设置数据流管道 我是这个版本的 Kafka 3 4 0 MySQL 8 Debezium 2 2 1 Java 11 目标 我想从 MySQL 捕获所有 CDC 并将数据流式传输到 Kaf

  • KafkaConsumer.commitAsync() 行为的偏移量比以前更低

    kafka 将如何处理调用 KafkaConsumer commitAsync Map

  • Apache Kafka 是否提供异步订阅回调 API？

    我的项目正在将 Apache Kafka 视为老化的基于 JMS 的消息传递方法的潜在替代品 为了让这个过渡尽可能的顺利 如果替代的排队系统 Kafka 有一个异步订阅机制那就更理想了 类似于我们当前项目使用的JMS机制MessageLis

  • kafka ProducerRecord 和 KeyedMessage 有什么区别

    我正在衡量卡夫卡生产者生产者的表现 目前我遇到了两个配置和用法略有不同的客户 Common def buildKafkaConfig hosts String port Int Properties val props new Proper

  • 卡夫卡主题查看器？ [关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我想调试一些 Kafka 主题 这样我就知道消费者或生产者是否有问题 Kafka 是否有一个 UI 我

  • 为每个键使用主题中的最新值

    我有一个 Kafka 生产者 它正在以高速率生成消息 消息键是用户名 值是他在游戏中的当前分数 Kafka消费者处理消费消息的速度相对较慢 在这里 我的要求是显示最新的分数并避免显示陈旧的数据 但代价是某些分数可能永远不会显示 本质上 对于

  • kafka消费者群体正在重新平衡

    我正在使用 Kafka 9 和新的 java 消费者 我正在循环内进行轮询 当代码尝试执行 Consumer commitSycn 时 由于组重新平衡 我收到 commitfailedexcption 请注意 我将 session time

  • 了解Kafka流groupBy和window

    我无法理解 kafka 流中的 groupBy groupById 和窗口的概念 我的目标是聚合一段时间内 例如 5 秒 的流数据 我的流数据看起来像 value 0 time 1533875665509 value 10 time 153

  • 当我们在 Apache Spark 中使用时，无法找到 Set([TOPIC NAME,0])) 的领导者

    我们使用 Apache Spark 1 5 1 和 kafka 2 10 0 8 2 1 以及 Kafka DirectStream API 通过 Spark 从 Kafka 获取数据 我们使用以下设置在 Kafka 中创建了主题 复制因子

  • Kafka不启动空白输出

    我正在努力安装 Kafka 和 Zookeeper 我已经运行了 Zookeeper 并且它当前正在运行 我将所有内容设置为 https dzone com articles running apache kafka on windows

  • 未能在kafka-storm中将偏移量数据写入zookeeper

    我正在设置一个风暴集群来计算实时趋势和其他统计数据 但是我在将 恢复 功能引入到这个项目中时遇到了一些问题 方法是允许上次读取的偏移量kafka spout 源代码为kafka spout来自https github com apache

  • 如何避免连续“重置偏移量”和“寻找最新偏移量”？

    我正在尝试遵循本指南 https spark apache org docs latest structed streaming kafka integration html https spark apache org docs late

  • 获取文本文件中行的字节偏移量？

    我有一个文本文件 例如 one two three four five 我需要获取文件中每一行的偏移量 我如何在 Java 中做到这一点 我搜索了一些 I O 库 如 BufferedReader 和 RandomAccessFile 但我

  • Zookeeper + Kafka - 无法创建数据目录

    我在单节点中使用zookeeper 3 4 8并尝试使用kafka 当我运行这个命令时 zookeeper server start sh usr local kafka 2 9 2 0 8 2 2 config zookeeper pro

  • 如何检测java中的消费者是否无法使用kafka代理？

    我有一个简单的 Java Kafka 消费者 如果 Kafka 代理不可用 我试图捕获异常 我需要它来中断线程 我有这样的代码 KafkaConsumer

  • Kafka中如何同时实现分布式处理和高可用？

    我有一个由 n 个分区组成的主题 为了进行分布式处理 我创建了两个在不同机器上运行的进程 他们使用相同的 groupd id 订阅主题并分配 n 2 个线程 每个线程处理单个流 每个进程 n 2 个分区 这样我就可以实现负载分配 但现在如果

  • 带有 spring-kafka 的 Kafka 死信队列 (DLQ)

    最好的实施方式是什么死信队列 DLQ Spring Boot 2 0 应用程序中的概念 使用 spring kafka 2 1 x 来处理无法处理的所有消息 KafkaListener某些bean发送到某些预定义的Kafka DLQ主题的方

随机推荐

  • 即使 upload_max_size 大于文件大小，$_FILE 上传大文件也会出现错误 1

    我有一个简单的上传表单 enctype multipart form data gt and input type hidden name MAX FILE SIZE value 5900000 gt 以及在 php ini 中应用 通过

  • 将参数传递给 link_to 方法

    如何使用 link to 方法通过 MVC 传递参数 view 如何使用 link to 方法来利用 remove tag 操作 issues controller rb def remove tag parameter issue rem

  • 黑莓无线安装

    我将黑莓应用程序的可交付变量上传到服务器 我希望我的用户从 URL 安装该应用程序 在上传到远程服务器之前 我在本地主机上进行了测试 没问题 但是 当我尝试从服务器下载 jad 文件时 它会显示文件内容 但不会安装应用程序 显示文字 Man

  • AngularJS 与 Django - 模板标签冲突

    我想将 AngularJS 与 Django 一起使用 但是它们都使用 作为他们的模板标签 有没有一种简单的方法可以更改两者之一以使用其他自定义模板标签 对于 Angular 1 0 您应该使用 interpolateProvider ap

  • 高优先级的自定义命令 Windows 服务

    我有一个部署在 Windows Server 2008 中的工作跟踪器 WPF 应用程序 该跟踪器应用程序正在通过 WCF 服务与 Tracker windows 服务进行通信 用户可以从 Worker Tracker GUI 应用程序创建

  • 如何使 css a:active 在点击后起作用？

    我正在尝试使菜单用作选项卡 选项卡本身工作正常 菜单链接也很棒 但我想删除活动选项卡的底部边框 使其看起来像在实际页面上 我尝试过使用 id a active但似乎只有当我按下链接时它才起作用 我也想过用 javascript 来做这件事

  • 在Python中获取Decimal的Ceil()？

    有没有办法在Python中获得高精度Decimal的ceil gt gt gt import decimal gt gt gt decimal Decimal 800000000000000000001 100000000000000000

  • 通过 NDK 在 Android 中使用 C 库

    我想做的事 我找到了一个计算音频流音高的 C 库 http www schmittmachine com dywapitchtrack html并想在 Android 中使用它 我想除了移植它之外 我还可以在 NDK 的帮助下使用它 对吧

  • 如何从正则表达式创建随机字符串

    我想从正则表达式生成一个随机字符串 example random string 0 9 4 gt 7895 random string 0 9 4 gt 0804 random string 0 9 A Z 4 gt 9ZE5 random

  • 如何在lucene中使用tf idf相似度对文档进行排名

    在创建索引和搜索查询的基本代码中 我想使用 TFIDFsimilarity 对检索到的文档进行排名 但我收到错误 无法实例化类型 TFIDFSimilarity 我的代码如下 public class TFIDF T private sta

  • 在 WooCommerce 中对特定类别的最便宜商品进行折扣

    我喜欢根据产品类别打折 Woocommerce 中最便宜的购物车商品 基于 Woocommerce 中成本较低的产品的购物车折扣 https stackoverflow com questions 49693564 cart discoun

  • org.w3c.dom.DOMException：HIERARCHY_REQUEST_ERR

    我对此已经关注太久了 无法弄清楚我做错了什么 因此 我正在尝试为某些内容生成 Xades 签名 不幸的是我总是遇到同样的错误 HIERARCHY REQUEST ERR 这是我的 XML 文档

  • 聚合时间戳数据的更好方法？

    我正在处理非统一收集的时间戳索引数据 最终将按每分钟 每小时计算统计数据 我想知道按时间段聚合的最佳方法是什么 我目前计算两个 lambda 函数 然后将两列添加到数据框中 如下所示 h lambda i pd to datetime i

  • 为什么我的桌面视图很慢？

    我正在制作一个加载了一些 NSArray 的表格视图 该单元格包含两个标签和一个加载了 URL 图像的背景图像视图 问题是 tableview 的滚动很慢 就像冻结或其他什么 我认为这是因为 Imageview 但我能做什么 这是我的一些代

  • 如何使用 Maven 程序集插件 jar-with-dependencies 在 JAR 中包含自定义文件

    我需要在最终的 JAR 中包含自定义文件 com app log4 properties 使用 jar with dependencies 时如何将一个文件添加到我的 JAR 中 现在该 JAR 中只有类文件 我在用着 mvn assemb

  • 如何对对象进行版本控制？

    为了解释这一点 请查看下面正在更改的对象 obj a 1 b 2 Version 1 obj a 2 Version 2 obj c 3 Version 3 我希望能够获得该对象的任何这些版本 例如得到obj从版本 2 开始 我不想每次更新

  • Rails 3.1：如何仅为 Web 应用程序运行初始化程序（rails 服务器/unicorn/等）

    我的网络应用程序需要加密其会话数据 我设置的是 config initializers encryptor rb require openssl require myapp encryptor MyApp Encryptor config

  • 中断运行nashorn脚本的java线程

    在下面的代码中 我让 JavaScript 在与主线程不同的单独线程中运行 该脚本是一个无限循环 因此需要以某种方式终止它 如何 脚本开始运行后 调用 cancel 不起作用 但如果我在线程初始化后调用 cancel 它将终止它 注释掉的行

  • Capistrano 和从 Github 部署网站

    因此 我有一个我认为相当简单的 Capistrano 用例 我想从 Github 部署一个 PHP 站点 但我遇到了很多问题 当我跑步时cap deploy Capistrano 能够克隆 Github 存储库 deploy update

  • 卡夫卡消费者偏移最大值？

    我正在谷歌搜索并阅读 Kafka 文档 但我无法找到消费者偏移量的最大值以及最大值之后是否存在偏移量环绕 我知道 offset 是一个 Int64 值 所以最大值是 0xFFFFFFFFFFFFFFFF 如果存在wraparound Kaf

热门标签