如何确保日志永久保留在Kafka中?

2023-12-27

我需要配置Kafkanever删除日志。查看他们的文档,我看到两种控制此操作的参数:

  • “日志清理器”,描述于http://kafka.apache.org/documentation.html#compaction http://kafka.apache.org/documentation.html#compaction。好像是这样设置的log.cleaner.enable = false防止清理器删除或压缩日志。

  • “日志保留”机制,描述于http://kafka.apache.org/documentation.html#configuration http://kafka.apache.org/documentation.html#configuration under log.retention.<time scales>。好像是这样设置的log.retention.ms = -1信号无限保留。

我的问题是:

这两种机制之间的关系是什么?这是唯一的两种机制吗?上述设置对于防止日志被删除是否必要且充分?


不确定您使用的是哪个版本。对我来说,我用这个:

log.retention.hours=2147483647

这大约是 245,000 年。我相信我尝试过-1在某些时候,但使用最大值是有效的。也许log.retention.ms接受不同的值,但无论如何 - 第二个配置选项应该足够了。我的猜测是这两种选择都没有必要。任何一个就足够了。当然,第二个本身就足够了。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何确保日志永久保留在Kafka中? 的相关文章

  • Kafka Producer配置重试策略

    需要更改 Kafka Producer 配置的哪些参数 以便生产者应该 1 重试n次 2 n个间隔后 如果代理关闭 也会收到相同的消息 我需要处理与此相关的情况 https github com rsyslog rsyslog issues
  • Kafka:如何获取主题的最后修改时间,即添加到主题的任何分区的最后一条消息

    我们的用例是从 kafka 中删除陈旧 未使用的主题 即如果某个主题 在所有分区上 在过去 7 天内没有任何新消息 那么我们会将其视为陈旧 未使用并删除它 许多谷歌结果建议向消息添加时间戳 然后解析它 对于新主题和消息 灵魂可以工作 但我们
  • 了解Kafka流groupBy和window

    我无法理解 kafka 流中的 groupBy groupById 和窗口的概念 我的目标是聚合一段时间内 例如 5 秒 的流数据 我的流数据看起来像 value 0 time 1533875665509 value 10 time 153
  • Confluence 平台与 apache kafka [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 我是 kafka 的新手 对 Confluence 平台很好奇 看来Confluence平台上的用户故事并不多 Confluence平台和Apa
  • 如何在 PySpark 中使用 foreach 或 foreachBatch 写入数据库?

    我想使用 Python PySpark 从 Kafka 源到 MariaDB 进行 Spark 结构化流处理 Spark 2 4 x 我想使用流式 Spark 数据帧 而不是静态数据帧或 Pandas 数据帧 看来必须要用foreach o
  • Spring Kafka Acknowledgement.acknowledge 线程安全吗?

    我正在实现一个基于卡夫卡的应用程序 我想在其中手动确认传入消息 架构迫使我在单独的线程中完成它 问题是 在与消费者不同的线程中执行 Acknowledgement acknowledge 是否可能且安全 是的 只要你使用MANUAL并不是M
  • 删除主题级别配置

    为了删除主题中的所有数据 我将其retention ms配置设置为1000 bin kafka topics sh zookeeper KAFKAZKHOSTS alter topic
  • Flink Kafka - 如何使应用程序并行运行?

    我正在 Flink 中创建一个应用程序 读取某个主题的消息 对其进行一些简单的处理 将结果写入不同的主题 我的代码确实有效 然而它不并行运行我怎么做 看来我的代码只在一个线程 块上运行 在 Flink Web 仪表板上 应用程序进入运行状态
  • 如何使用PySpark结构流+Kafka

    我尝试将 Spark 结构流与 kafka 一起使用 并且在使用 Spark 提交时遇到问题 消费者仍然从生产中接收数据 但 Spark 结构出错 请帮我找到我的代码的问题 这是我在 test py 中的代码 from kafka impo
  • Apache Kafka 中消费者消费消息的延迟

    我正在使用 Kafka 0 8 0 并尝试实现下面提到的场景 JCA API 充当生产者并将数据发送到 gt 消费者 gt HBase 一旦我使用 JCA 客户端获取数据 我就会将每条消息发送给消费者 例如 一旦生产者发送消息 no 1 我
  • 卡夫卡监听器中的钩子

    kafka 监听消息之前 之后是否有任何类型的钩子可用 使用案例 必须设置MDC关联id才能进行日志溯源 我在寻找什么 之前 之后回调方法 以便可以在进入时设置 MDC 关联 ID 并最终在退出时清除 MDC 编辑后的场景 我将关联 id
  • 无法使用 jolokia 从 Kafka 提取 JMX 数据

    我已经在 centos 7 机器上安装了 Jolokia 并尝试使用 Jolokia 代理提取 Kafka 指标 并使用 Nagios 插件 check jmx4perl 与 Icinga 监控工具集成 以下是我遵循的配置步骤 步骤1 下载
  • 如何删除 Apache Kafka 中的多个主题

    假设我有许多具有相同前缀的主题 例如 giorgos topic1 giorgos topic2 giorgos topic3 用于删除单个主题的命令 例如giorgos topic1 如下 bin kafka topics sh zook
  • 重置 JDBC Kafka 连接器以从头开始提取行?

    Kafka 连接器可以利用主键和时间戳来确定需要处理哪些行 我正在寻找一种重置连接器的方法 以便它从一开始就进行处理 因为要求是在分布式模式下运行 所以最简单的做法是将连接器名称更新为新值 这将提示在 connect offsets 主题中
  • 为什么 kafka-avro-console- Producer 不支持该字段的默认值?

    尽管为字段定义了默认值 kafka avro console producer完全忽略它 kafka avro console producer broker list localhost 9092 topic test avro prop
  • Avro 无法反序列化字段中逻辑类型的 Union

    Avro 工具版本 1 9 2 这是我在反序列化 Avro 数据时面临的问题 当字段为带有空值和逻辑类型的 Union 时 Avro 似乎无法生成正确的 POJO 类 目前的行为 当 avro 模式具有 null 和逻辑类型联合的字段时 A
  • 登录模块控制标志在 JAAS 配置中不可用 - Scala Kafka

    尝试使用 kerberos 身份验证连接到 Kafka 时遇到问题 使用 scala 和我的jaas config看起来像这样 KafkaClient com sun security auth module Krb5LoginModule
  • Spark错误:无效的日志目录/app/spark/spark-1.6.1-bin-hadoop2.6/work/app-20161018015113-0000/3/

    我的 Spark 应用程序因上述错误而失败 实际上我的 Spark 程序正在将日志写入该目录 stderr 和 stdout 都被写入所有工作人员 我的程序以前运行良好 但昨天我将 fodler 更改为指向 SPARK WORKER DIR
  • 从主题内的特定分区进行流式传输(Kafka Streams)

    据我在阅读 Kafka Streams 文档后了解到 不可能将其用于仅来自给定主题的一个分区的流数据 人们总是必须阅读整个文档 那是对的吗 如果是这样 将来是否有计划向 API 提供这样的选项 不 你不能这样做 因为内部消费者订阅了加入通过
  • 从控制台生成具有空值(墓碑)的 Kafka 消息

    有没有什么方法可以在 kafka console Producer 中生成一条具有空值的消息 即 将其标记为压缩器以使用逻辑删除来删除它 我尝试过生成 mykey 和 mykey 前者产生错误 后者使该值成为空字符串 像这样运行生产者 KA

随机推荐

  • 在设计数据库时,存储多个真/假值的首选方式是什么?

    如标题中所述 在设计数据库时 处理具有多个列的表的首选方法是什么 这些列仅将真 假值存储为单个或值 例如 Y N 或 0 1 同样 不同数据库 例如 Oracle 和 SQL Server 之间是否可能出现一些问题 这些问题可能会影响列的处
  • R中二项式数据的置信区间?

    我知道我需要 Mean 和 s d 来找到间隔 但是 如果问题是 对随机抽取的 1 000 名工人进行的调查显示 其中 520 名是女性 根据调查为女性工人比例创建 95 的置信区间 我如何找到平均值和标准差 您还可以使用prop test
  • Spring MVC 控制器方法什么时候应该有@ResponseBody?

    我用 ResponseBody使用我的 Spring 控制器进行注释 但我不确定何时使用它 另外 我将我的方法命名为index我想知道这是否重要 我的方法头是 RequestMapping value addproduct method R
  • Ansible 中根据特定值对 dict 进行排序

    我在 Ansible 中将以下字典设置为变量 my users name1 value some value1 id 99 type some type1 name2 value some value2 id 55 type some ty
  • WPF 窗口未关闭

    您能告诉初学者为什么这个小型 WPF 应用程序在 WorkflowTermulated 事件触发后没有按预期关闭吗 使用的工作流程立即终止 使用 WPF 应用程序 Net Framework 3 5 public partial class
  • 在 UITabBar 顶部查看

    Similar to what the Spotify or Apple Music app does when a song is playing it places a custom view on top of the UITabBa
  • 如何使用 Xcode Storyboards 创建 Popover

    如何在 iPad Storyboard 中为 iOS 5 0 应用程序创建弹出框 Xcode 项目模板 实用程序应用程序 已经有了一个设置 但我似乎不明白 Apple 是如何让它工作的 我试图模仿它 但只出现错误 我什至查看了苹果的开发网站
  • 通过 Xaml 将代码隐藏中定义的依赖属性绑定到 UserControl 的 DataContext 中的属性

    我想使用与找到的代码类似的代码here https stackoverflow com questions 2404080 expose usercontrol property to xaml我遇到的问题是我想扩展它以允许使用 XAML
  • Spring Boot上传BootRepackage可执行Jar

    我正在使用 Spring Boot 来开发我的新项目 在我的 build gradle 文件中 我使用 bootRepackage classifier 因此我可以单独生成项目的默认 jar 和使用 Spring Boot 生成的可执行 j
  • 如何处理内存中的Excel文件?

    我正在尝试创建一个 API 它将接受来自客户端的 Excel 文件的表示形式 我希望在处理第一个工作表后返回一个 List gt 作为 JSON 数组 但是 我无法将文件写入磁盘 并且所有处理must happen 在记忆中 有哪些方法可以
  • 确定 connect-msolservice 是否已成功调用

    我正在 PowerShell 中编写 Office 365 辅助工具 并且有一个我认为是简单的问题但找不到答案 我如何判断连接是否由Connect MsolService是否存在且活跃 必须有某种方法可以知道 因为其他 cmdlet 可以检
  • 使用 AWS CLI 通过标签终止 EC2 实例上的一组

    对 AWS 不太熟悉 但是我希望通过按标签名称进行过滤来使用 AWS CLI 终止一组 ec2 实例 如果我使用describe instances I can filter按标签 键 value For terminate instanc
  • 尽管已安装但未找到 Python 模块

    我试图告诉 pandoc 使用用 python 编写的自定义 pandocfilter 我使用的是 MacBook M1 因此安装了 2 7 和自制的 3 9 7 版本的 python 由于某种原因 尽管已正确安装 但未找到 pandocf
  • 匹配一个“.”在java中[关闭]

    这个问题不太可能对任何未来的访客有帮助 它只与一个较小的地理区域 一个特定的时间点或一个非常狭窄的情况相关 通常不适用于全世界的互联网受众 为了帮助使这个问题更广泛地适用 访问帮助中心 help reopen questions 我有下面的
  • 我可以在 Android 设备上存储数据以在安装之间保留吗?

    我想以在应用程序安装之间保留少量数据的方式存储少量数据 我显然无法使用 SharedPreferences 因为它们在卸载时会被删除 有没有什么方法可以存储数据 以便在重新安装应用程序后数据仍然存在 我想要存储的数据是一个唯一的 ID 以便
  • PHP 安全性:将 POST 发送到相同的 URL = 不好?

    昨天我收到了有关将 POST 数据发送到同一页面的问题的回复重定向后获取模式 http en wikipedia org wiki Post Redirect Get像这样 if isset POST Submit prevent rese
  • WPF 窗口背景 ImageBrush 不平铺

    我有一个带有背景图像的窗口 图像可能会在运行时发生变化 这对此并不重要 我希望图像固定在左上角 确实如此 而不是缩放 这也是正确的 但是当窗口大于图像时 我需要重复 平铺 图像 我正在做 我缺少什么 TIA 您需要设置TileMode ht
  • Xerces C++ - 加载、读取和保存,替代方案?

    我正在寻找一个教程来加载 XML 文件 读取它 更改它并最终使用 C 保存它 我正在使用 Linux Ubuntu 并尝试使用 Xerces 通过 Google 和很多时间 我只能加载一个 XML 文件 include
  • 查找 postgres jsonb 数组中对象的位置

    我在 jsonb 中有一个看起来像这样的对象数组value表的列 west id aa92f346 7a93 4443 949b 4eab0badd983 version 1 id cd92e346 6b04 3456 050a 5eeb0
  • 如何确保日志永久保留在Kafka中?

    我需要配置Kafkanever删除日志 查看他们的文档 我看到两种控制此操作的参数 日志清理器 描述于http kafka apache org documentation html compaction http kafka apache