Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Kafka 的 session.timeout.ms 和 max.poll.interval.ms 之间的区别
AFAIK max poll interval ms 是在 Kafka 0 10 1 中引入的 然而 目前还不清楚什么时候我们可以同时使用 session timeout ms 和 max poll interval ms 考虑这样的用例
ApacheKafka
kafkaconsumerapi
kafkaproducerapi
PyKafka Producer.get_delivery_report 当 block=false 时抛出 Queue.empty
我目前正在使用 Python 进行 Kafka 集成 并且我是来自 PHP 背景的 Kafka 和 Python 新手 我已经设法让生产者工作 但由于等待来自 Kafka 的确认 它处理每条消息的速度不够快 在 GitHub 页面上 htt
python
ApacheKafka
使用 fastavro 从 Kafka 进行 Avro 反序列化
我正在构建一个从 Kafka 接收数据的应用程序 当使用 Apache 提供的标准 avro 库时 https pypi org project avro python3 https pypi org project avro python
python
ApacheKafka
Avro
fastavro
如何将 Kafka 承诺的消费者偏移量更改为所需的偏移量
我有卡夫卡流应用程序 我的应用程序正在成功处理事件 如何使用所需的偏移量更改 Kafka 提交的消费者偏移量以重新处理 跳过事件 我试过如何更改主题的起始偏移量 https stackoverflow com questions 29791
ApacheKafka
apachezookeeper
kafkaconsumerapi
apachekafkastreams
Spark 设置为从最早的偏移量读取 - 在尝试使用 Kafka 上不再可用的偏移量时抛出错误
我目前正在 Dataproc 上运行 Spark 作业 在尝试重新加入组并从 kafka 主题读取数据时遇到错误 我做了一些挖掘 但不确定问题是什么 我有auto offset reset set to earliest所以它应该从最早可用
apachespark
ApacheKafka
Streaming
googleclouddataproc
Apache Kafka - 主题/分区上的 KafkaStream
我正在为大容量高速分布式应用程序编写 Kafka Consumer 我只有一个主题 但收到的消息率非常高 拥有多个分区来服务更多消费者将适合此用例 最好的消费方式是拥有多个流读取器 根据文档或可用示例 ConsumerConnector 给
Java
Multithreading
concurrency
ApacheKafka
从 Kafka 请求两个时间戳之间的消息
是否可以根据消息被摄取的时间段来消费来自 Kafka 的消息 Example 我希望今天 0900 1000 之间的所有消息都被提取到某个主题 现在是 1200 如果只有一种方法来指定开始时间 那很好 我的消费者可以在到达结束时间后停止处理
ApacheKafka
kafkaconsumerapi
在 KafkaConnect 中使用 Avro,无需 Confluence Schema 注册表
我们在当前的基础设施中设置了普通的 apache Kafka 并开始记录一些我们想要使用 Kafka Connect 处理的数据 目前 我们使用 Avro 作为消息格式 但我们的基础设施中没有架构注册表 将来 我们计划用 Confluenc
ApacheKafka
Avro
apachekafkaconnect
confluentschemaregistry
Kafka消费者配置/性能问题
我正在尝试使用 kafka 作为 AWS SQS 的替代品 其动机主要是为了提高性能 其中 kafka 将消除一次拉取 10 条消息且上限为 256kb 的限制 这是我的用例的高级场景 我有一堆爬虫正在发送文档以进行索引 有效负载的大小平均
Java
performance
ApacheKafka
kafkaconsumerapi
卡夫卡消费者重新平衡时间太长
我有一个 Kafka Streams 应用程序 它从几个主题获取数据并连接数据并将其放入另一个主题中 卡夫卡配置 5 kafka brokers Kafka Topics 15 partitions and 3 replication fa
ApacheKafka
apachekafkastreams
如果一个代理关闭,流应用程序中的 KafkaStream EXACTLY_ONCE 会导致重新平衡失败
我有一个 Kafka 流应用程序 其中 kafka streams 和 kafka clients 均为 2 4 0 具有以下配置 properties put StreamsConfig BOOTSTRAP SERVERS CONFIG
Java
ApacheKafka
apachekafkastreams
Kafka:动态更新 jaas 配置
我已经使用 kafka 设置了 jaas 配置sasl jaas config财产 我想更新此配置并动态添加用户 根据这个文档 http kafka apache org 11 documentation html dynamicbroke
configuration
ApacheKafka
jaas
Broker
Spark-submit 类路径问题与 --repositories --packages 选项
我在一个独立的集群中运行 Spark 其中 Spark master worker 并在自己的 Docker 容器中提交每次运行 When spark submit我的 Java 应用程序 repositories and packages
apachespark
ApacheKafka
SparkStreaming
2 个具有相同消费者组 ID 的 Spark Stream 作业
我正在尝试对消费者群体进行实验 这是我的代码片段 public final class App private static final int INTERVAL 5000 public static void main String ar
apachespark
ApacheKafka
SparkStreaming
在Web浏览器上实时接收Kafka事件
我们使用 Kafka 集群来实时发送 接收消息 我们能够成功地将消息发布到 Kafka 主题 现在我们希望在使用 JavaScript 的 Web 浏览器上运行的单页应用程序 SPA 上实时接收这些消息 是否可以直接从 Kafka 将消息推
javascript
ApacheKafka
Kafka主题未被删除
我使用的是卡夫卡 0 10 0 1 集群中有 3 个代理 我发出了删除命令 删除了近 10 个一个月以来没有使用过的主题 我检查过 没有消费者注册这些主题 他们的日志大小也没有增加 然而 已经过去5个多小时了 那些话题还没有被删除 它们只是
ApacheKafka
如何减少Kafka主题的分区数量?
我在 Kafka 上创建了一个具有 4 个分区的主题 默认设置number partition 4 现在我想将这个主题的数字分区更改为3 我尝试过跑步 bin kafka topics sh alter zookeeper localhos
ApacheKafka
如何在启动Spark Streaming进程时加载历史数据,并计算运行聚合
我的 ElasticSearch 集群中有一些与销售相关的 JSON 数据 我想使用 Spark Streaming 使用 Spark 1 4 1 通过 Kafka 动态聚合来自我的电子商务网站的传入销售事件 以获得用户总金额的当前视图销售
卡夫卡消费者偏移最大值?
我正在谷歌搜索并阅读 Kafka 文档 但我无法找到消费者偏移量的最大值以及最大值之后是否存在偏移量环绕 我知道 offset 是一个 Int64 值 所以最大值是 0xFFFFFFFFFFFFFFFF 如果存在wraparound Kaf
offset
ApacheKafka
kafkaconsumerapi
如何将Kafka数据导出到Prometheus?
我在 kafka 主题中以时间序列的形式获得了 300K 指标 分钟 我想存储和查询数据 满足我需求的可视化工具是Grafana 为了有效地存储和查询 我正在考虑将这些时间序列存储在Prometheus中 具有大量时间序列的 Kafka 主
ApacheKafka
TimeSeries
Prometheus
exporter
«
1 ...
21
22
23
24
25
26
27
...40
»