如何监控Bolt的待处理队列的大小?

2024-04-11

我的拓扑有一两个瓶颈。 Storm UI 中的容量指标对于识别这些非常有用,但我对 Bolt 队列的大小更感兴趣。

我的理解是每个螺栓有两个队列,一个用于待执行的元组,另一个用于待发出的元组。是否可以监控这些队列的大小?

我在网上找到了一些关于向 Bolts 添加 ITaskHook 实现的内容,但还不清楚如何使用它来监视队列大小。可以使用 ITaskHook 中的方法来监控吗?


您应该能够使用以下命令查看拓扑组件的队列长度metrics http://storm.apache.org/documentation/Metrics.html机制。一个简单的方法是添加conf.registerMetricsConsumer(LoggingMetricsConsumer.class)到您的拓扑的配置。

这是我从我的一个组件中获得的示例

4:fetch __sendqueue {write_pos=12122, read_pos=12122, capacity=1024, population=0} 4:fetch __receive {write_pos=8588, read_pos=8587, capacity=1024, population=1}

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何监控Bolt的待处理队列的大小? 的相关文章

  • java.lang.ClassNotFoundException:TopologyMain

    我正在尝试向本地风暴集群提交一个简单的字数统计拓扑 首先 我尝试使用 Maven 然后使用 Storm 命令行客户端 我使用 eclipse 创建了 JAR 文件 但是 它抛出主类未找到异常 谁能告诉我可能是什么问题 我在下面附上代码和异常
  • Graphite/Carbon 如何获取每秒指标

    I ve 泊坞窗化石墨正在与这个图书馆从 Apache Storm 拓扑获取指标 我正在获取指标数据 但无论我做什么 我只能每分钟获取数据 而我真正需要的是每秒的点数 As per 这个帖子我已将保留策略设置为每秒抓取数据 我也设置了 co
  • 如何将两个不同Spout的输出发送到同一个Bolt?

    我有两个 Kafka Spout 我想将它们的值发送到同一个 Bolt 是否可以 对的 这是可能的 TopologyBuilder b new TopologyBuilder b setSpout topic 1 new KafkaSpou
  • Eclipse 中 Storm 集群关闭

    我有一个问题 我知道有麻烦 但找不到解决方案 集群没有关闭 抛出 IOException I O 方法不起作用 因为 Windows 不允许临时文件夹 我的意思是这个路径 C Users Mert AppData Local Temp 8b
  • 构建 Storm 时 Zookeeper 出现 ClassNotFoundException

    我是 java 和 Storm 的新手 所以请原谅任何明显的错误 我正在尝试使用水槽连接器进行风暴 但它因以下错误而崩溃 java lang reflect InvocationTargetException at sun reflect
  • 如何通过 eclipse 在本地集群/模式下调试 Apache Storm

    使用以下问答 我设法通过 Apache Storm 集群 本地运行 上的 eclipse 启用调试 如何在 Eclipse 中调试 Apache Storm My conf storm yaml有以下行可以在工作节点上启用调试 worker
  • 测试java HBase连接

    我正在尝试使用 HBase Java API 将数据写入 HBase 我通过 Ambari 安装了 Hadoop HBase 以下是当前设置配置的方式 final Configuration CONFIGURATION HBaseConfi
  • 在 Apache Storm Bolt 中使用 Apache Camel ProducerTemplate

    我正在尝试编写简单的 Storm Camel 项目 我的 Storm 拓扑分析推文 一个 Bolt 应该将推文文本发送到 apache 骆驼路由 而该路由又使用 websocket 通知某些 Web 应用程序 由于尝试使用一次构建 Came
  • 重新平衡 Apache Storm 中的执行器

    我正在尝试重新平衡正在运行的 Apache Storm 0 9 5 拓扑中的 Bolt 的执行器数量 当我对 Nimbus 节点执行命令时 storm rebalance MyTopology n 2 e GreenBolt 4它接受命令行
  • java.lang.ClassNotFoundException:kafka.api.OffsetRequest

    我在尝试将 Kafka 集成到我们的 Storm 拓扑时收到错误 java lang ClassNotFoundException kafka api OffsetRequest 您正在运行什么版本并且它正在运行 我的 pom xml
  • 如何使用 Log4j 和 Storm Framework 将日志写入文件?

    我在 Storm 中使用 log4j 记录到文件时遇到了一些问题 在提交我的拓扑之前 即在我的主要方法中 我编写了一些日志语句并使用以下方法配置了记录器 PropertyConfigurator configure myLog4jPrope
  • 使用storm时如何将拓扑上下文中的对象访问到bolt中?

    我们在创建拓扑时需要传递一个对象 以便 Bolt 可以访问该对象并基于该对象进行一些进一步的处理 是否可以通过传递对象TopplogyContext如果是 怎么办 或者是否有其他方法可以在提交拓扑时传递对象 然后再提交 以便 Bolt 可以
  • 风暴集群重复元组

    目前我正在开展一个项目 在该项目中我在四台 Unix 主机上设置了一个 Storm 集群 拓扑本身如下 JMS Spout 侦听 MQ 以获取新消息 JMS Spout 解析然后将结果发送到 Esper Bolt 然后 Esper Bolt
  • 读取 Storm 集群中的 AWS SQS 队列时,导致这些 ParseError 异常的原因是什么

    我正在使用 Storm 0 8 1 从 Amazon SQS 队列中读取传入消息 并且在执行此操作时遇到一致的异常 2013 12 02 02 21 38 executor ERROR java lang RuntimeException
  • Storm 和 Spring 4 集成

    我有一个 Storm 应用程序原型 它读取 STOMP 流并将输出存储在 HBase 上 它可以工作 但不是很灵活 我正在尝试以与我们其他应用程序更一致的方式设置它 但不太幸运地弄清楚当前与 Storm 的工作方式 我们使用 spring
  • 如何在cloudfoundry上使用kafka和storm?

    我想知道是否可以将 kafka 作为云原生应用程序运行 以及我是否可以在 Pivotal Web Services 上创建一个 kafka 集群作为服务 我不仅仅想要客户端集成 我想运行 kafka 集群 服务本身 谢谢 阿尼尔 我可以向您
  • Storm 如何知道消息何时“完全处理”?

    还有一些关于超时和 maxSpoutPending 的问题 我在 Storm 文档中看到很多关于消息被完全处理的参考资料 但是我的 KafkaSpout 如何知道消息何时被完全处理 希望它能够识别我的 Bolt 的连接方式 以便当我的 St
  • 无法从 Storm 教程运行 Storm-starter 拓扑

    当遵循 Storm starter 中的指南时repo https github com apache storm tree master examples storm starter 我无法实际运行任何拓扑 就像ExclamationTo
  • Storm动态拓扑

    Storm 支持动态拓扑吗 我想要的功能是在 Storm 拓扑运行时根据用户要求动态更改拓扑 例如 当用户想知道流的前 10 个单词时 我使用前 10 个 Bolt 来处理它 当用户想知道其他内容时 我使用另一个 Bolt 来处理流并 拔掉
  • Apache Kafka 与 Apache Storm

    Apache Kafka 分布式消息系统Apache Storm 实时消息处理 我们如何在实时数据管道中使用这两种技术来处理事件数据 就实时数据管道而言 在我看来 两者的工作都是相同的 我们如何在数据管道上使用这两种技术 您可以使用 Apa

随机推荐