程序员经验分享-hwhale

主节点的“start-all.sh”和“start-dfs.sh”没有启动从节点服务？

2024-06-22

我已使用从属节点的主机名更新了 Hadoop 主节点上的 /conf/slaves 文件，但我无法从主节点启动从属节点。我必须单独启动从属服务器，然后我的 5 节点集群才能启动并运行。如何使用主节点的单个命令启动整个集群？

此外，SecondaryNameNode 正在所有从属节点上运行。那是问题吗？如果是这样，我怎样才能将他们从奴隶中除去？我认为一个具有一个NameNode的集群中应该只有一个SecondaryNameNode，对吗？

谢谢你！


在Apache Hadoop 3.0中使用$HADOOP_HOME/etc/hadoop/workers文件以每行添加一个从节点。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

HDFS

namenode

Hadoop3

主节点的“start-all.sh”和“start-dfs.sh”没有启动从节点服务？ 的相关文章

  • 如何强制 Spark 执行代码？

    我如何强制 Spark 执行对 map 的调用 即使它认为由于其惰性求值而不需要执行它 我试过把cache 与地图调用 但这仍然没有解决问题 我的地图方法实际上将结果上传到 HDFS 所以 它并非无用 但 Spark 认为它是无用的 简短回

  • 以不同用户身份运行 MapReduce 作业

    我有一个与 Hadoop 交互的 Web 应用程序 Cloudera cdh3u6 特定的用户操作应在集群中启动新的 MapReduce 作业 该集群不是一个安全集群 但它使用简单的组身份验证 因此 如果我以自己的身份通过 ssh 连接到它

  • 如何使用 python 从 Azure Data Lake Gen 2 读取文件

    我有一个文件位于 Azure Data Lake gen 2 文件系统中 我想读取文件的内容并进行一些低级更改 即从记录中的一些字段中删除一些字符 更明确地说 有些字段的最后一个字符也为反斜杠 由于该值包含在文本限定符 中 因此字段值会转义

  • Hive 聚集在多个列上

    据我所知 当配置单元表聚集在一列上时 它会执行该分桶列的哈希函数 然后将该行数据放入其中一个桶中 每个桶都有一个文件 即如果有 32 个桶 那么 hdfs 中就有 32 个文件 将 clustered by 放在多个列上意味着什么 例如 假

  • Spark/Yarn：HDFS 上不存在文件

    我在 AWS 上设置了 Hadoop Yarn 集群 有 1 个主服务器和 3 个从服务器 我已经验证我有 3 个活动节点在端口 50070 和 8088 上运行 我在客户端部署模式下测试了 Spark 作业 一切正常 当我尝试使用 Spa

  • Protobuf RPC 在 Hadoop 2.2.0 单节点服务器上不可用？

    我正在尝试在按照本教程安装的本地单节点集群上运行 hadoop 2 2 0 mapreduce 作业 http codesfusion blogspot co at 2013 10 setup hadoop 2x 220 on ubuntu

  • 如何修复“任务尝试_201104251139_0295_r_000006_0 未能报告状态 600 秒”。

    我编写了一个 MapReduce 作业来从数据集中提取一些信息 该数据集是用户对电影的评分 用户数量约25万 电影数量约30万 地图的输出是

  • 匿名类上的 NotSerializedException

    我有一个用于过滤项目的界面 public interface KeyValFilter extends Serializable public static final long serialVersionUID 7069537470113

  • MapReduce 中 1 个任务的减速器数量

    在典型的 MapReduce 设置 如 Hadoop 中 1 个任务使用多少个减速器 例如计算单词数 我对 Google MapReduce 的理解意味着只涉及 1 个减速器 那是对的吗 例如 单词计数会将输入分为 N 个块 并且 N 个

  • Hadoop fs 查找块大小？

    在 Hadoop fs 中如何查找特定文件的块大小 我主要对命令行感兴趣 例如 hadoop fs hdfs fs1 data 但看起来这并不存在 有Java解决方案吗 The fsck其他答案中的命令列出了块并允许您查看块的数量 但是 要

  • 如何使用 log4j 自定义附加程序在 HDFS 上创建日志？

    Overview 我们希望使用 log4j 记录 Spark 作业活动 并将日志文件写入 HDFS Java 8 Spark 2 4 6 Scala 2 1 2 Hadoop 3 2 1 我们无法找到本地 apache log4j 附加程序

  • 使用 HttpClient 的 .NET Core SPNEGO 身份验证

    我目前正在编写一个简单的基于 NET Core 的客户端 用于通过 WebHCat 与 Hadoop 集群进行交互 并且我正在尝试弄清楚如何使用 SPNEGO 进行身份验证 就像在curl 或 Powershell Core 等中一样 使用

  • Spark-submit，客户端无法通过以下方式进行身份验证：[TOKEN，KERBEROS]；

    我使用 kerberos 设置了 hadoop 集群 但是当我运行 Spark Submit 时 它抛出异常 17 10 19 08 46 53 WARN scheduler TaskSetManager Lost task 0 0 in

  • 谷歌的Dremel是什么？它与 MapReduce 有什么不同？

    谷歌的 Dremel 是此处描述 http research google com pubs pub36632 html Dremel 和 Mapreduce 有什么区别 Dremel http research google com pu

  • 关于 Hadoop 和压缩输入文件的非常基本的问题

    我已经开始研究 Hadoop 如果我的理解是正确的 我可以处理一个非常大的文件 它会被分割到不同的节点上 但是如果文件被压缩 那么文件就无法分割 并且需要由单个节点处理 有效地破坏了运行一个mapreduce 一个并行机器集群 我的问题是

  • 名称节点与辅助名称节点

    Hadoop 具有一致性和分区容忍性 即它属于 CAP 理论的 CP 类别 Hadoop不可用 因为所有节点都依赖于名称节点 如果名称节点崩溃 集群就会崩溃 但考虑到 HDFS 集群有一个辅助名称节点 为什么我们不能称 hadoop 为可用

  • Hadoop2.2.0无法访问网页http://:8088

    我设置了一个包含两个节点 hadoop01 master 10 0 0 151 和 hadoop02 slaves 10 0 0 152 的 hadoop 集群 当输入 start dfs sh 然后访问网站 my ip 上面就是 10 0

  • 我的sparkDF.persist(DISK_ONLY)数据存储在哪里？

    我想更多地了解spark中hadoop的持久化策略 当我使用 DISK ONLY 策略保存数据帧时 我的数据存储在哪里 路径 文件夹 我在哪里指定这个位置 对于简短的答案 我们可以看看文档 https spark apache org do

  • enableHiveSupport 在 java Spark 代码中引发错误[重复]

    这个问题在这里已经有答案了 我有一个非常简单的应用程序 尝试使用 Spark 从 src main resources 读取 orc 文件 我不断收到此错误 无法实例化具有 Hive 支持的 SparkSession 因为找不到 Hive

  • 在 Windows 上使用 miniDFSCluster 时出错

    我正在尝试使用 miniDFSCluster 编写单元测试 但它抛出以下错误 java lang UnsatisfiedLinkError org apache hadoop io nativeio NativeIO Windows acc

随机推荐

热门标签