Hadoop的Nodes of the cluster界面MemoryTotal为0B

2023-11-02

1、hadoop集群安装部署结束,一键启动:

start-all.sh

2、查看各主从机器上jps进程

jps
master: ResourceManager + NameNode

slave1(第二namenode): DataNode + SecondaryNameNode + NodeManager
slave2: NodeManager + DataNode

注意:这里的进程虽然都正确,但是并不代表所修改的配置文件都生效了。只能说明修改后的配置文件语法没错,可以启动!

3、运行测试

(1)、hdfs管理界面   http://master:50070/

(2)、yarn的管理界面:http://master:8088/cluster/nodes

 

(3)、查看hdfs的状态报告 hdfs dfsadmin -report

(4)、查看yarn的基本信息yarn  node -list    

 注意:在(4)命令正常运行时的结果应为:

   

在(2)的网页端里MemoryTotal不为0B,且下方node Labels所在的表格不为空,才算正确,否则说明yarn-site.xml文件有未生效配置!会导致新建任务的时候,一直处于Apps Pending状态!

根据启动信息,到未成功启动的node下查找日志:大致为

 到相应的主机下打开对应的log文件,名字相同,后缀修改一下就好了。如果出现类似

org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031 

等错误,可以断定时yarn-site.xml未生效。

4、yarn-site未生效可能原因:语法正确,但是存在嵌套错误。

如:复制粘贴的时候粘贴到了别的标签内部!此时运行start-all正常,但是app 会卡在pending。


<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop200:8030</value>

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop200:8033</value>
</property>

</property>

 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop的Nodes of the cluster界面MemoryTotal为0B 的相关文章

  • 如何使用AWK脚本检查表的所有列数据类型? [关闭]

    Closed 这个问题需要多问focused help closed questions 目前不接受答案 在这里 我正在检查表中第一列的数据类型 但我想知道AWK中表的所有列数据类型 我尝试过 但只能获得一列数据类型 例如 Column 1
  • 如何在我的 AWS EC2 实例上安装特定字体?

    我有一个在 AWS EC2 Amazon Linux Elastic Beanstalk 实例上运行的 Python 应用程序 该实例需要某些特定字体才能生成输出 并且想知道如何在部署或实例启动过程中安装它们 我的代码在本地计算机 OS X
  • 伊迪德信息

    重新定义问题 有什么方法可以获取所连接显示器的序列号吗 我想收集显示器的Eid信息 当我使用 logverbose 选项运行 X 时 我可以从 xorg 0 log 文件中获取它 但问题是 如果我切换显示器 拔出当前显示器 然后插入另一个显
  • 带有安全 Kafka 抛出的 Spark 结构化流:无权访问组异常

    为了在我的项目中使用结构化流 我正在 hortonworks 2 6 3 环境上测试 Spark 2 2 0 和 Kafka 0 10 1 与 Kerberos 的集成 我正在运行下面的示例代码来检查集成 我能够在 Spark 本地模式下的
  • Hive - 线程安全的自动递增序列号生成

    我遇到一种情况 需要将记录插入到特定的 Hive 表中 其中一列需要是自动递增的序列号 即在任何时间点都必须严格遵循 max value 1 规则 记录从许多并行的 Hive 作业插入到这个特定的表中 这些作业每天 每周 每月批量运行 现在
  • 让 WSO2 IOT 服务器作为 Windows 服务运行

    我在Server 2012R2上安装了WSO2 IOT Server 我安装了 YAJSW 包装器并按照 WSO2 说明进行配置 当我启动 runConsole bat 来配置 Windows 服务时 出现以下错误 我设置了 JAVA HO
  • 每个进程每个线程的时间量

    我有一个关于 Windows 和 Linux 中进程和线程的时间量子的问题 我知道操作系统通常为每个线程提供固定的时间量 我知道时间量根据前台或后台线程而变化 也可能根据进程的优先级而变化 每个进程有固定的时间量吗 例如 如果操作系统为每个
  • 从多线程程序中调用 system()

    我们正在开发一个用 C 编写的多线程内存消耗应用程序 我们必须执行大量的 shellscript linux 命令 并获取返回码 读完之后article http www linuxprogrammingblog com threads a
  • 劫持系统调用

    我正在编写一个内核模块 我需要劫持 包装一些系统调用 我正在暴力破解 sys call table 地址 并使用 cr0 来禁用 启用页面保护 到目前为止一切顺利 一旦完成 我将公开整个代码 因此如果有人愿意 我可以更新这个问题 无论如何
  • 为什么 Linux 对目录使用 getdents() 而不是 read()?

    我浏览 K R C 时注意到 为了读取目录中的条目 他们使用了 while read dp gt fd char dirbuf sizeof dirbuf sizeof dirbuf code Where dirbuf是系统特定的目录结构
  • Composer 安装要求

    我正在尝试将 Composer 安装到 Laravel 项目中 当我做的时候sudo composer install在项目目录中它显示了两个错误 Problem 1 Installation request for simplesoftw
  • 设置 Apache POI 的路径

    我想创建 Excel 文件并使用 java 程序在该文件中写入数据 That is here http www techbrainwave com p 554我在 java 文件所在的位置提取了 Apache POI 并将该路径包含在路径变
  • 在 /dev/input/eventX 中写入事件需要哪些命令?

    我正在开发一个android需要将触摸事件发送到 dev input eventX 的应用程序 我知道C执行此类操作的代码结构如下 struct input event struct timeval time unsigned short
  • 如何使用 sed 仅删除双空行?

    我找到了这个问题和答案 https stackoverflow com questions 4651591 howto use sed to remove only triple empty lines关于如何删除三重空行 但是 我只需要对
  • PHP 致命错误:未找到“MongoClient”类

    我有一个使用 Apache 的网站 代码如下 当我尝试访问它时 我在 error log 中收到错误 PHP Fatal Error Class MongoClient not found 以下是可能错误的设置 但我认为没有错误 php i
  • 如何制作和应用SVN补丁?

    我想制作一个SVN类型的补丁文件httpd conf这样我就可以轻松地将其应用到其他主机上 If I do cd root diff Naur etc httpd conf httpd conf original etc httpd con
  • 如何模拟ARM处理器运行环境并加载Linux内核模块?

    我尝试加载我的vmlinux into gdb并使用 ARM 内核模拟器 但我不明白为什么我会得到Undefined target command sim 这是外壳输出 arm eabi gdb vmlinux GNU gdb GDB 7
  • MiniDFSCluster UnsatisfiedLinkError org.apache.hadoop.io.nativeio.NativeIO$Windows.access0

    做时 new MiniDFSCluster Builder config build 我得到这个异常 java lang UnsatisfiedLinkError org apache hadoop io nativeio NativeIO
  • YARN UNHEALTHY 节点

    在我们的 YARN 集群已满 80 的情况下 我们看到一些纱线节点管理器被标记为不健康 在深入研究日志后 我发现这是因为数据目录的磁盘空间已满 90 出现以下错误 2015 02 21 08 33 51 590 INFO org apach
  • 从 PL/SQL 调用 shell 脚本,但 shell 以 grid 用户而非 oracle 身份执行

    我正在尝试使用 Runtime getRuntime exec 从 Oracle 数据库内部执行 shell 脚本 在 Red Hat 5 5 上运行的 Oracle 11 2 0 4 EE CREATE OR REPLACE proced

随机推荐

  • 在SQL中寻找唯一记录的3种终极方法

    在SQL中寻找唯一记录的3种终极方法 停止使用DISTINCT 开始使用这些快速替代方法 以避免混淆 照片 Luis Cortes on Unsplash 不使用DISTINCT关键字就能获得唯一记录 在你的数据分析项目中 只要你需要从数据
  • Windows server 2008 R2远程桌面3389端口号修改及远程桌面窗口大小调整

    转自 https help aliyun com document detail 51644 html spm 5176 doc51644 6 784 4iAHWH 修改 Windows 服务器默认远程端口 操作步骤 远程连接并登录到 Wi
  • ConcurrentHashMap概述

    1 前言 为什么要使用 ConcurrentHashMap 主要基于两个原因 在并发编程中 jdk1 7的情况下使用 HashMap 可能造成死循环 而jdk1 8 中有可能会造成数据丢失 HashTable 效率非常低下 2 Concur
  • Java微服务内存占用分析

    一 Java 进程中有哪些组件会占用内存 通过 Native Memory Tracking 可以观察到有以下 JVM 组件 在命令行加上 XX NativeMemoryTracking summary 会增加3MB左右内存 损失5 10
  • Leetcode 2861. Maximum Number of Alloys

    Leetcode 2861 Maximum Number of Alloys 1 解题思路 2 代码实现 题目链接 2861 Maximum Number of Alloys 1 解题思路 这一题思路上还是挺清晰的 就是对每一台机子看一下其
  • 利用Redisson实现分布式锁及其底层原理解析

    Redis介绍 redis是一个key value存储系统 和Memcached类似 它支持存储的value类型相对更多 包括string 字符串 list 链表 set 集合 zset sorted set 有序集合 和hash 哈希类型
  • python3下使用requests实现模拟用户登录 —— 基础篇(马蜂窝)

    python3下使用requests实现模拟用户登录 基础篇 马蜂窝 1 了解cookie和session 首先一定要先了解到cookie和session是什么 这是后面理解网站交互 模拟用户登录的基础 1 1 无状态协议 Http 如上图
  • 控制台调用百度api接口实现post请求

    控制台调用百度api接口实现post请求 需要注意的是 请求是json格式 要把请求的东西用json包装起来 json text 苹果是一家伟大的公司 发送Post请求 var request HttpWebRequest WebReque
  • 子域名爆破&C段查询&调用Bing查询同IP网站

    在线子域名爆破 1
  • Java中List集合(String类型)三种遍历的方法

    Java中List集合的 String类型 三种遍历的方法 程序代码 程序运行结果 程序代码 package homework09 homework0927 import java util ArrayList import java ut
  • 创建android studio linux版本快捷方式

    问题背景 linux系统安装android studio后无法直接打开 一种方式是执行bin目录下的sh文件 另一种是手动建立快捷方式 以下为介绍如何使用linux系统中的 desktop规则 创建快捷方式 1 在application目录
  • 【Java案例】购书系统(超详细)

    不爱生姜不吃醋 声明 原创不易 转载请注明原链接 看完之后觉得不错的话麻烦动动小手点个赞赞吧 如果本文有什么错误的话欢迎在评论区中指正哦 大家的支持就是我最大的动力 冲啊 与其明天开始 不如现在行动 Java案例 学籍管理系统 超详解 文章
  • SRTM数据介绍与下载

    本文主要介绍SRTM DEM 数据及下载过程 文章目录 一 SRTM数据介绍 二 数据下载 三 数据处理 一 SRTM数据介绍 DEM是对遥感影像进行处理获得的栅格数字高程模型 只有一个波段 且是遥感影像中合成的波段 SRTM 航天飞机雷达
  • 外包项目服务器被黑了,蓝盟经验谈,安全经验谈之网络服务器如何防止被黑

    1 对数据库进行安全配置 例如你的程序连接数据库所使用的帐户 口令 权限 如果是浏览新闻的 用只读权限即可可以对不同的模块使用不同的帐户 权限 另外 数据库的哪些存储过程可以调用 也要进行严格地配置 用不到的全部禁用 特别是cmd这种 防止
  • @Autowired一个接口有多个实现类

    Autowired是spring的注解 默认使用的是byType的方式向Bean里面注入相应的Bean 例如 Autowired private UserService userService 这段代码会在初始化的时候 在spring容器中
  • 第四季新星计划即将开启,博客之星取消拉票你怎么看?

    catalogue 写在前面 线下创机遇 新星计划 做导师可以得到什么 新星计划跟原力计划有何不同 博客之星新玩法你怎么看 写在前面 哈喽 大家好 我是几何心凉 这是一份全新的专栏 得到CSDN王总的授权 来对于我们每周四的绿萝时间 直达C
  • JAVA的HttpClient问题:The server failed to respond with a valid HTTP response

    Caused by org apache http ProtocolException The server failed to respond with a valid HTTP response 昨天帐前 卒使用java 的HttpCl
  • 微信js-sdk 分享配置报错config:invalid signature?

    缘起 最近做H5关于微信分享的需求的时候 遇到了大坑 由于没使用过js sdk做微信分享 故查阅了很多资料 大多数博主的代码偏差都不大 于是我借鉴了核心写法 我的代码 wechatApi wechatConfigInit 是封装的微信js
  • 【Linux】shell编程之循环语句

    提示 文章写完后 目录可以自动生成 如何生成可参考右边的帮助文档 文章目录 一 循环语句 二 for循环语句 1 for 语句的结构 2 for语句应用示例 三 while 循环语句 1 while 循环语句结构 2 while语句应用示例
  • Hadoop的Nodes of the cluster界面MemoryTotal为0B

    1 hadoop集群安装部署结束 一键启动 start all sh 2 查看各主从机器上jps进程 jps master ResourceManager NameNode slave1 第二namenode DataNode Second