使用 setState SampleRate/topology.stats.sample.rate 的性能影响

2024-02-11

在yaml中设置topology.stats.sample.rate: 1.0对性能有什么影响?

这是如何运作的?


topology.stats.sample.rate配置计算 Storm 拓扑统计数据的速率。

默认值在默认值.yaml https://github.com/apache/storm/blob/master/conf/defaults.yaml#L136 is 0.05。这意味着仅考虑 100 个事件中的 5 个。
的价值1意味着将计算每个元组的统计数据。

这会降低性能吗?很可能很多人会说是的,但由于每个环境都不同,我认为最好自己测量一下。增加和减少该值并测量拓扑的吞吐量。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

使用 setState SampleRate/topology.stats.sample.rate 的性能影响 的相关文章

  • 添加 jsoup 作为提供的依赖项后,Storm 命令失败并出现 NoClassDefFoundError

    我在我的项目中使用 JSoup 并且我已经在我的项目中声明了依赖关系POM文件 它编译得很好并且运行得很好 但只有当我使用jar with all dependencies并将依赖范围更改为compiled 如果我将此范围更改为provid
  • Graphite/Carbon 如何获取每秒指标

    I ve 泊坞窗化石墨正在与这个图书馆从 Apache Storm 拓扑获取指标 我正在获取指标数据 但无论我做什么 我只能每分钟获取数据 而我真正需要的是每秒的点数 As per 这个帖子我已将保留策略设置为每秒抓取数据 我也设置了 co
  • 如何将两个不同Spout的输出发送到同一个Bolt?

    我有两个 Kafka Spout 我想将它们的值发送到同一个 Bolt 是否可以 对的 这是可能的 TopologyBuilder b new TopologyBuilder b setSpout topic 1 new KafkaSpou
  • Eclipse 中 Storm 集群关闭

    我有一个问题 我知道有麻烦 但找不到解决方案 集群没有关闭 抛出 IOException I O 方法不起作用 因为 Windows 不允许临时文件夹 我的意思是这个路径 C Users Mert AppData Local Temp 8b
  • 如何通过 eclipse 在本地集群/模式下调试 Apache Storm

    使用以下问答 我设法通过 Apache Storm 集群 本地运行 上的 eclipse 启用调试 如何在 Eclipse 中调试 Apache Storm My conf storm yaml有以下行可以在工作节点上启用调试 worker
  • 测试java HBase连接

    我正在尝试使用 HBase Java API 将数据写入 HBase 我通过 Ambari 安装了 Hadoop HBase 以下是当前设置配置的方式 final Configuration CONFIGURATION HBaseConfi
  • Storm-Kafka多个spout,如何分担负载?

    我正在尝试在多个喷口之间分担任务 我遇到一种情况 我一次从外部源获取一个元组 消息 并且我想要拥有多个 spout 实例 其背后的主要目的是共享负载并提高性能效率 我可以对一个 Spout 本身执行相同的操作 但我想在多个 Spout 之间
  • 在 Apache Storm Bolt 中使用 Apache Camel ProducerTemplate

    我正在尝试编写简单的 Storm Camel 项目 我的 Storm 拓扑分析推文 一个 Bolt 应该将推文文本发送到 apache 骆驼路由 而该路由又使用 websocket 通知某些 Web 应用程序 由于尝试使用一次构建 Came
  • 重新平衡 Apache Storm 中的执行器

    我正在尝试重新平衡正在运行的 Apache Storm 0 9 5 拓扑中的 Bolt 的执行器数量 当我对 Nimbus 节点执行命令时 storm rebalance MyTopology n 2 e GreenBolt 4它接受命令行
  • 风暴集群重复元组

    目前我正在开展一个项目 在该项目中我在四台 Unix 主机上设置了一个 Storm 集群 拓扑本身如下 JMS Spout 侦听 MQ 以获取新消息 JMS Spout 解析然后将结果发送到 Esper Bolt 然后 Esper Bolt
  • 如何重置 Kafka 偏移量以匹配尾部位置?

    我们将 Storm 与 Kafka 和 ZooKeeper 结合使用 我们遇到过这样的情况 我们必须删除一些主题并用不同的名称重新创建它们 除了现在读取新主题名称之外 我们的 Kafka spouts 保持不变 但是现在 当尝试从新主题读取
  • 读取 Storm 集群中的 AWS SQS 队列时,导致这些 ParseError 异常的原因是什么

    我正在使用 Storm 0 8 1 从 Amazon SQS 队列中读取传入消息 并且在执行此操作时遇到一致的异常 2013 12 02 02 21 38 executor ERROR java lang RuntimeException
  • Storm 和 Spring 4 集成

    我有一个 Storm 应用程序原型 它读取 STOMP 流并将输出存储在 HBase 上 它可以工作 但不是很灵活 我正在尝试以与我们其他应用程序更一致的方式设置它 但不太幸运地弄清楚当前与 Storm 的工作方式 我们使用 spring
  • 如何在cloudfoundry上使用kafka和storm?

    我想知道是否可以将 kafka 作为云原生应用程序运行 以及我是否可以在 Pivotal Web Services 上创建一个 kafka 集群作为服务 我不仅仅想要客户端集成 我想运行 kafka 集群 服务本身 谢谢 阿尼尔 我可以向您
  • Storm 如何知道消息何时“完全处理”?

    还有一些关于超时和 maxSpoutPending 的问题 我在 Storm 文档中看到很多关于消息被完全处理的参考资料 但是我的 KafkaSpout 如何知道消息何时被完全处理 希望它能够识别我的 Bolt 的连接方式 以便当我的 St
  • Storm程序的执行流程

    我是 Storm 的新手 试图了解不同方法的执行流程spout to bolt 就像spout有不同的方法一样 下一个元组 open 声明输出字段 启用 停用 Bolt 有类似的方法 准备 执行 清理 声明输出字段 那么谁能告诉我这些方法的
  • 如何在storm中注册kryo序列化器实例?

    我拼命尝试配置序列化器实例以在我的风暴拓扑中使用 Storm 文档指出 有两种注册序列化器的方法 1 The name of a class to register In this case Storm will use Kryo s Fi
  • 无法从 Storm 教程运行 Storm-starter 拓扑

    当遵循 Storm starter 中的指南时repo https github com apache storm tree master examples storm starter 我无法实际运行任何拓扑 就像ExclamationTo
  • 如何在 Intellij IDEA 中构建和运行 Storm Topology

    我按照 Storm Starter 说明并在 IntelliJ 中导入了 Twitter Storm 为了测试 我编辑了感叹拓扑一点并使用以下 Maven 命令来构建并运行它 mvn f m2 pom xml compile exec ja
  • 将数据从 oracle 移动到 HDFS,处理并从 HDFS 移动到 Teradata

    我的要求是 将数据从 Oracle 移至 HDFS 处理HDFS上的数据 将处理后的数据移至 Teradata 还需要每 15 分钟执行一次整个处理 源数据量可能接近50GB 处理后的数据也可能相同 在网上搜索了很多之后 我发现 PRARO

随机推荐