Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Kafka消费者配置/性能问题
我正在尝试使用 kafka 作为 AWS SQS 的替代品 其动机主要是为了提高性能 其中 kafka 将消除一次拉取 10 条消息且上限为 256kb 的限制 这是我的用例的高级场景 我有一堆爬虫正在发送文档以进行索引 有效负载的大小平均
Java
performance
ApacheKafka
kafkaconsumerapi
卡夫卡消费者偏移最大值?
我正在谷歌搜索并阅读 Kafka 文档 但我无法找到消费者偏移量的最大值以及最大值之后是否存在偏移量环绕 我知道 offset 是一个 Int64 值 所以最大值是 0xFFFFFFFFFFFFFFFF 如果存在wraparound Kaf
offset
ApacheKafka
kafkaconsumerapi
保留期后的 Kafka 偏移量
我有一个带有 1 个分区的 kafka 主题 如果其中有 100 条消息 则偏移量将从 0 99 开始 根据 kafka 保留策略 所有消息都将在指定期限后被清除 一旦所有消息都被清除 保留期过后 我将向该主题发送 100 条新消息 现在
ApacheKafka
kafkaconsumerapi
kafkaproducerapi
Kafka:使用java更改特定主题的分区数量
我是 Kafka 新手 正在使用新的 KafkaProducer 和 KafkaConsumer 版本 0 9 0 1 java中是否有任何方法可以在创建特定主题后更改 更新其分区数量 我没有使用 Zookeeper 创建主题 当发布请求到
Java
ApacheKafka
kafkaconsumerapi
kafkaproducerapi
卡夫卡消费者寻求开始
我没有使用分区来发布到 Kafka 主题 ProducerRecord 字符串主题 K键 V值 在消费者方面 我想从头开始 eekToBeginning 集合分区 是否可以在不使用分区的情况下寻求开始 Kafka 是否分配默认分区 http
ApacheKafka
kafkaconsumerapi
Kafka消费者动态拾取主题
我在 Spring Boot 中配置了一个 Kafka 消费者 这是配置类 EnableKafka Configuration PropertySource classpath kafka properties public class K
springboot
configuration
kafkaconsumerapi
springKafka
Kafka 0.10 Java消费者不从主题读取消息
我有一个简单的 java 生产者 如下所示 public class Producer private final static String TOPIC my example topi8 private final static Stri
Java
ApacheKafka
kafkaconsumerapi
kafkaproducerapi
如何使用直接流在Kafka Spark Streaming中指定消费者组
如何使用直接流 API 为 kafka Spark 流指定消费者组 ID HashMap
Java
apachespark
ApacheKafka
SparkStreaming
kafkaconsumerapi
尝试从 python 写入 cassandra 时 CQL 查询中出现语法错误
因此 我正在用 python 构建一个应用程序 该应用程序从 twitter 获取数据 然后将其保存到 cassandra 我当前的问题在于一个从kafka读取数据并尝试将其写入cassandra的脚本 如下所示 import thread
python3x
cassandra
kafkaconsumerapi
cassandradriver
Kafka Confluence HTTP Sink Connector 的开源替代品 [关闭]
Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我想将数据从 Kafka 主题推送到 REST 端点 非企业版且未使用融合的 kafka 托管服务 我
ApacheKafka
kafkaconsumerapi
apachekafkaconnect
Kafka CommitFailedException 消费者异常
创建多个消费者 使用 Kafka 0 9 java API 并且每个线程启动后 我收到以下异常 Consumer has failed with exception org apache kafka clients consumer Com
Java
ApacheKafka
kafkaconsumerapi
为什么kafka集群中的单节点多broker不是首选?
我正在尝试将卡夫卡实施到生产中 想知道为什么单节点 多代理的 kafka 实例不是首选 很少有人建议 如果在单个节点上使用多个代理 则应该为它们分配单独的磁盘空间 但这样做的原因尚不清楚 有人可以解释一下单个代理与多个代理 kafka 实例
ApacheKafka
kafkaconsumerapi
如果消费者持有消息的时间超过自动提交间隔时间,kafka会丢失消息吗?
假设自动提交间隔时间为 30 秒 消费者由于某种原因无法处理消息并保留消息超过 30 秒然后崩溃 自动提交偏移量机制是否会在消费者崩溃之前提交此偏移量 如果我的假设是正确的 消息会因其偏移量提交而丢失 但消息本身尚未被处理 让我们假设您的消
ApacheKafka
kafkaconsumerapi
kafka-console-consumer 使用什么消费组
当我像这样运行 kafka console consumer 时 bin kafka console consumer sh bootstrap server localhost 9092 topic test 它默认属于哪个消费群体 如果
ApacheKafka
kafkaconsumerapi
如何暂停kafka消费者?
我在我的框架中使用 Kafka 生产者 消费者模型 消费者端消费的记录随后被索引到elasticsearch上 这里我有一个用例 如果 ES 关闭 我将不得不暂停 kafka 消费者 直到 ES 启动 一旦启动 我需要恢复消费者并使用我上次
Java
springboot
ApacheKafka
kafkaconsumerapi
如何配置每个 pod/进程使用不同的 kafka 主题分区
我有一个有 5 个分区的 kafka 主题 我当前有 5 个 pod 正在使用这 5 个分区 但是 由于特定需求 我需要每个 Pod 仅从其分配的分区中进行消费 但由于 pod 在 kubernetes 上都具有相同的配置 我无法告诉每个
Kubernetes
ApacheKafka
kafkaconsumerapi
Spring Kafka:轮询新消息,而不是使用“onMessage”通知
我在我的项目中使用 Spring Kafka 因为在基于 Spring 的项目中使用 Kafka 消息似乎是一个自然的选择 要使用消息 我可以利用MessageListener界面 Spring Kafka 在内部负责调用我的onMessa
Spring
ApacheKafka
kafkaconsumerapi
springKafka
如何从环境变量将动态主题名称传递给@KafkaListener(topics)
我正在写一个卡夫卡消费者 我需要将环境变量主题名称传递给 KafkaListener topics 这是我到目前为止所尝试过的 import org springframework beans factory annotation Auto
Java
springboot
kafkaconsumerapi
springKafka
springel
如何删除kafka消费者组(通过新消费者api创建)?
我通过新的消费者 API 创建了 kafka 消费者我使用的是卡夫卡2 10 0 9 0 1我们有 1 个消费者组 每组有 1 个消费者实例 Kafka 脚本 kafka consumer groups sh 提供了删除用户的方法 但仅适用
Java
ApacheKafka
kafkaconsumerapi
«
1
2
3
4
5
6
7
»