以集群模式在同一物理节点上运行 Storm nimbus 和supervisor

2024-02-14

我现在有一个包含 2 个物理节点的 Storm 集群。我在跑storm nimbus在节点 1 上和storm supervisor在节点 2 上。看起来我的所有拓扑都仅在节点 2(管理节点)上运行。我也应该在节点 1 上运行主管吗?

Thanks


你可以,但我不推荐它。

在 Storm 当前的设计中,nimbus 是一个单点故障(有计划解决这个问题),但是在与 nimbus 相同的节点上运行管理程序会使 nimbus 节点更有可能发生一些不好的事情,这对您来说将是灾难性的风暴群。

此外,Storm 设计的一部分是工作节点和管理节点应该能够死亡,而 Storm 应该能够恢复。如果您将节点 1 除了作为 nimbus 服务器之外还用作管理程序,那么您会失去一些灵活性。

最后,随着集群的增长,您的 nimbus 服务器将有很多事情要做,并且您希望它能够快速运行,这样它就不会减慢您的工作人员的速度,因为如果您不为其提供足够的资源,它可能会成为瓶颈。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

以集群模式在同一物理节点上运行 Storm nimbus 和supervisor 的相关文章

  • Graphite/Carbon 如何获取每秒指标

    I ve 泊坞窗化石墨正在与这个图书馆从 Apache Storm 拓扑获取指标 我正在获取指标数据 但无论我做什么 我只能每分钟获取数据 而我真正需要的是每秒的点数 As per 这个帖子我已将保留策略设置为每秒抓取数据 我也设置了 co
  • 如何通过 eclipse 在本地集群/模式下调试 Apache Storm

    使用以下问答 我设法通过 Apache Storm 集群 本地运行 上的 eclipse 启用调试 如何在 Eclipse 中调试 Apache Storm My conf storm yaml有以下行可以在工作节点上启用调试 worker
  • 测试java HBase连接

    我正在尝试使用 HBase Java API 将数据写入 HBase 我通过 Ambari 安装了 Hadoop HBase 以下是当前设置配置的方式 final Configuration CONFIGURATION HBaseConfi
  • 在 Apache Storm Bolt 中使用 Apache Camel ProducerTemplate

    我正在尝试编写简单的 Storm Camel 项目 我的 Storm 拓扑分析推文 一个 Bolt 应该将推文文本发送到 apache 骆驼路由 而该路由又使用 websocket 通知某些 Web 应用程序 由于尝试使用一次构建 Came
  • java.lang.ClassNotFoundException:kafka.api.OffsetRequest

    我在尝试将 Kafka 集成到我们的 Storm 拓扑时收到错误 java lang ClassNotFoundException kafka api OffsetRequest 您正在运行什么版本并且它正在运行 我的 pom xml
  • 将一个项目导入到另一个导入的项目中

    我在一个项目的帮助中找到了这个声明 我想将其导入名为 storm 选举 这是一个基于storm starter 项目的简单演示应用程序 https github com nathanmarz storm starter https gith
  • 如何使用 Log4j 和 Storm Framework 将日志写入文件?

    我在 Storm 中使用 log4j 记录到文件时遇到了一些问题 在提交我的拓扑之前 即在我的主要方法中 我编写了一些日志语句并使用以下方法配置了记录器 PropertyConfigurator configure myLog4jPrope
  • 使用storm时如何将拓扑上下文中的对象访问到bolt中?

    我们在创建拓扑时需要传递一个对象 以便 Bolt 可以访问该对象并基于该对象进行一些进一步的处理 是否可以通过传递对象TopplogyContext如果是 怎么办 或者是否有其他方法可以在提交拓扑时传递对象 然后再提交 以便 Bolt 可以
  • NotSerializedException org.neo4j.kernel.EmbeddedGraphDatabase

    我正在使用 neo4j 创建图表 将 mongodb 中的数据作为文档 独立代码运行良好 没有风暴 但是 在将其与 Storm 集成时 我得到了 java io NotSerializedException org neo4j kernel
  • 如何重置 Kafka 偏移量以匹配尾部位置?

    我们将 Storm 与 Kafka 和 ZooKeeper 结合使用 我们遇到过这样的情况 我们必须删除一些主题并用不同的名称重新创建它们 除了现在读取新主题名称之外 我们的 Kafka spouts 保持不变 但是现在 当尝试从新主题读取
  • Storm 和 Spring 4 集成

    我有一个 Storm 应用程序原型 它读取 STOMP 流并将输出存储在 HBase 上 它可以工作 但不是很灵活 我正在尝试以与我们其他应用程序更一致的方式设置它 但不太幸运地弄清楚当前与 Storm 的工作方式 我们使用 spring
  • Storm 如何知道消息何时“完全处理”?

    还有一些关于超时和 maxSpoutPending 的问题 我在 Storm 文档中看到很多关于消息被完全处理的参考资料 但是我的 KafkaSpout 如何知道消息何时被完全处理 希望它能够识别我的 Bolt 的连接方式 以便当我的 St
  • 如何在storm中注册kryo序列化器实例?

    我拼命尝试配置序列化器实例以在我的风暴拓扑中使用 Storm 文档指出 有两种注册序列化器的方法 1 The name of a class to register In this case Storm will use Kryo s Fi
  • 无法从 Storm 教程运行 Storm-starter 拓扑

    当遵循 Storm starter 中的指南时repo https github com apache storm tree master examples storm starter 我无法实际运行任何拓扑 就像ExclamationTo
  • 如何监控Bolt的待处理队列的大小?

    我的拓扑有一两个瓶颈 Storm UI 中的容量指标对于识别这些非常有用 但我对 Bolt 队列的大小更感兴趣 我的理解是每个螺栓有两个队列 一个用于待执行的元组 另一个用于待发出的元组 是否可以监控这些队列的大小 我在网上找到了一些关于向
  • Apache Kafka 与 Apache Storm

    Apache Kafka 分布式消息系统Apache Storm 实时消息处理 我们如何在实时数据管道中使用这两种技术来处理事件数据 就实时数据管道而言 在我看来 两者的工作都是相同的 我们如何在数据管道上使用这两种技术 您可以使用 Apa
  • 风暴最大喷口待定

    这是一个关于 Storm 的最大喷口待处理如何工作的问题 我目前有一个 spout 它读取文件并为文件中的每一行发出一个元组 我知道 Storm 不是处理文件的最佳解决方案 但我对此问题没有选择 我设置了topology max spout
  • 将数据从 oracle 移动到 HDFS,处理并从 HDFS 移动到 Teradata

    我的要求是 将数据从 Oracle 移至 HDFS 处理HDFS上的数据 将处理后的数据移至 Teradata 还需要每 15 分钟执行一次整个处理 源数据量可能接近50GB 处理后的数据也可能相同 在网上搜索了很多之后 我发现 PRARO
  • ack造成的风暴延迟

    我正在使用 kafka storm 连接 kafka 和 Storm 我有3台服务器运行zookeeper kafka和storm kafka中有一个主题 test 有9个分区 在storm拓扑中 KafkaSpout执行器的数量为9 默认
  • Storm Spout 未收到 Ack

    我已经开始使用storm 所以我使用创建简单的拓扑本教程 https github com nathanmarz storm wiki Tutorial 当我运行我的拓扑时LocalCluster一切看起来都很好 我的问题是我没有得到元组的

随机推荐