kafka主题分区的最大复制因子是多少

2024-06-26

我有一个 kafka 集群,有 3 个代理和几个主题,每个主题有 5 个分区。现在我想设置分区的复制因子。

我可以为kafka主题分区设置的最大复制因子是多少?


复制因子确定每个分区的复制数量,这允许 Kafka 自动故障转移到这些副本 当集群中的服务器发生故障时消息仍然可用 如果出现故障

分区副本分布在代理之间,一个代理应该保留一个副本,这意味着我们不能拥有比代理数量更多的副本

最大复制因子

这也是为了确定最小同步副本数,这意味着它将始终小于或等于复制因子

min.insync.replicas 表示

最小同步副本数是您愿意随时在线以继续运行的数据的最小副本数 并接受新传入的消息。

理想情况下复制因子为 3如上所述很好,但是,根据用例,您可以将复制因子调整为小于 2(意味着高风险),同时大于 3 可提供更好的可用性,但需要更多的开销和更大的大小。

在决定复制因子时,还要考虑以下几点:

A): 经纪商规模复制因子直接影响整体代理磁盘大小

因此,高复制因子需要更大的磁盘大小

B)大量分区复制:如果存在大量分区复制,则会增加额外的延迟。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

kafka主题分区的最大复制因子是多少 的相关文章

  • Spring Boot 和 Kafka,Producer 抛出 key='null' 异常

    我正在尝试使用Spring Boot with Kafka and ZooKeeper with Docker docker compose yml version 2 services zookeeper image wurstmeist
  • 如何有效地将数据从 Kafka 移动到 Impala 表?

    以下是当前流程的步骤 Flafka http blog cloudera com blog 2014 11 flafka apache flume meets apache kafka for event processing 将日志写入
  • 如何避免连续“重置偏移量”和“寻找最新偏移量”?

    我正在尝试遵循本指南 https spark apache org docs latest structed streaming kafka integration html https spark apache org docs late
  • Zookeeper + Kafka - 无法创建数据目录

    我在单节点中使用zookeeper 3 4 8并尝试使用kafka 当我运行这个命令时 zookeeper server start sh usr local kafka 2 9 2 0 8 2 2 config zookeeper pro
  • Spring Kafka Acknowledgement.acknowledge 线程安全吗?

    我正在实现一个基于卡夫卡的应用程序 我想在其中手动确认传入消息 架构迫使我在单独的线程中完成它 问题是 在与消费者不同的线程中执行 Acknowledgement acknowledge 是否可能且安全 是的 只要你使用MANUAL并不是M
  • mysql 分区错误主键必须包含表分区函数中的所有列

    在 MySQL 8 上我有这个表 CREATE TABLE float values id bigint UNSIGNED NOT NULL attribute id bigint UNSIGNED NOT NULL value doubl
  • Kafka Streams 反序列化处理程序

    我正在尝试在反序列化中使用 LogAndContinueExceptionHandler 当发生错误时 通过成功记录错误并继续 它可以正常工作 但是 假设我的传入消息有连续的错误流 我停止并重新启动 kafka 流应用程序 然后我看到失败并
  • 如何删除 Apache Kafka 中的主题? [复制]

    这个问题在这里已经有答案了 我需要删除 Kafka 0 8 2 2 3 中的一个主题 我使用以下命令删除主题 bin kafka topics sh zookeeper localhost 2181 delete topic DummyTo
  • Kafka JDBC Sink Connector,批量插入值

    我每秒收到很多消息 通过 http 协议 50000 100000 并希望将它们保存到 PostgreSql 我决定使用 Kafka JDBC Sink 来实现此目的 消息以一条记录保存到数据库 而不是批量保存 我想在 PostgreSQL
  • Flink Kafka - 如何使应用程序并行运行?

    我正在 Flink 中创建一个应用程序 读取某个主题的消息 对其进行一些简单的处理 将结果写入不同的主题 我的代码确实有效 然而它不并行运行我怎么做 看来我的代码只在一个线程 块上运行 在 Flink Web 仪表板上 应用程序进入运行状态
  • Kafka 0.10 Java 客户端超时异常:包含 1 条记录的批次已过期

    我有一个单节点 多 3 个代理 Zookeeper Kafka 设置 我正在使用 Kafka 0 10 Java 客户端 我编写了以下简单的远程 在与 Kafka 不同的服务器上 生产者 在代码中我用 MYIP 替换了我的公共 IP 地址
  • Apache Kafka 中消费者消费消息的延迟

    我正在使用 Kafka 0 8 0 并尝试实现下面提到的场景 JCA API 充当生产者并将数据发送到 gt 消费者 gt HBase 一旦我使用 JCA 客户端获取数据 我就会将每条消息发送给消费者 例如 一旦生产者发送消息 no 1 我
  • 卡夫卡监听器中的钩子

    kafka 监听消息之前 之后是否有任何类型的钩子可用 使用案例 必须设置MDC关联id才能进行日志溯源 我在寻找什么 之前 之后回调方法 以便可以在进入时设置 MDC 关联 ID 并最终在退出时清除 MDC 编辑后的场景 我将关联 id
  • 是否有任何模拟器/工具可以生成流式传输消息?

    出于测试目的 我需要模拟客户端每秒生成 100 000 条消息并将它们发送到 kafka 主题 有没有任何工具或方法可以帮助我生成这些随机消息 有一个用于生成虚拟负载的内置工具 位于bin kafka producer perf test
  • pymongo MongoClient 连接到 ReplicaSet

    我采用 pymongo 的 MongoClient 类来连接到具有三个节点 1 个主节点 2 个辅助节点 的副本集 代码片段如下 c MongoClient secondary1 hostname secondary2 hostname r
  • 哪个数据库对复制的支持最好

    我对 MySQL 复制的功能有相当好的感觉 我想知道还有哪些其他数据库支持复制 以及它们与 MySQL 和其他数据库相比如何 我的一些问题是 复制是内置的还是附加组件 插件 复制是如何工作的 高级 MySQL 提供基于语句的复制 5 1 中
  • 登录模块控制标志在 JAAS 配置中不可用 - Scala Kafka

    尝试使用 kerberos 身份验证连接到 Kafka 时遇到问题 使用 scala 和我的jaas config看起来像这样 KafkaClient com sun security auth module Krb5LoginModule
  • Spark 分区/集群强制

    我将使用大量结构如下的文件 day hour min txt gz 总共14天 我将使用一个包含 90 个节点 工作人员的集群 我正在阅读所有内容wholeTextFiles 因为这是允许我适当分割数据的唯一方法 所有计算将以每分钟为基础
  • 微服务数据复制模式

    在微服务架构中 我们通常有两种方式让2个微服务进行通信 假设服务 A 需要从服务 B 获取信息 第一个选项是远程调用 通常通过 HTTPS 同步 因此服务 A 查询服务 B 托管的 API 第二种选择是采用事件驱动架构 其中服务 B 的状态
  • Kafka 消费者无法读取所有可用分区

    我们注意到我们的产品主题之一 6 个分区 存在一个奇怪的问题 其中我们的消费者 dotnet core 只有 1 个实例 只能从 3 个分区 0 1 3 读取 这显然会影响应用程序行为 因为消费者丢失了来自其他 3 个分区 2 4 5 的消

随机推荐