YARN UNHEALTHY 节点

2024-05-16

在我们的 YARN 集群已满 80% 的情况下,我们看到一些纱线节点管理器被标记为不健康。在深入研究日志后,我发现这是因为数据目录的磁盘空间已满 90%。出现以下错误

2015-02-21 08:33:51,590 INFO org.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl: Node hdp009.abc.com:8041 reported UNHEALTHY with details: 4/4 local-dirs are bad: /data3/yarn/nm,/data2/yarn/nm,/data4/yarn/nm,/data1/yarn/nm;
2015-02-21 08:33:51,590 INFO org.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl: hdp009.abc.com:8041 Node Transitioned from RUNNING to UNHEALTHY

我想了解纱线如何标记节点不健康&有什么方法可以改变阈值吗?

Thanks


尝试添加属性yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage到yarn-site.xml。此属性指定允许的最大磁盘空间利用率百分比,超过此百分比后,磁盘将被标记为损坏。值的范围可以是 0.0 到 100.0。

纱线默认.xml https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

force至健康状态e.g.:

<?xml version="1.0"?>
<configuration>    
  <property>
     <name>yarn.nodemanager.disk-health-checker.min-healthy-disks</name>
     <value>0.0</value>
  </property>
  <property>
     <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
     <value>100.0</value>
  </property>
</configuration>
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

YARN UNHEALTHY 节点 的相关文章

随机推荐