程序员经验分享-hwhale

hadoop/hdfs/name 处于不一致状态：存储目录(hadoop/hdfs/data/)不存在或不可访问

2024-03-27

我已经尝试了 stackoverflow 上提供的有关此主题的所有不同解决方案，但没有帮助 再次询问具体的日志和详细信息

任何帮助表示赞赏

我的 Hadoop 集群中有 1 个主节点和 5 个从节点。 ubuntu用户和ubuntu组是所有者~/Hadoop文件夹 这俩~/hadoop/hdfs/data & ~/hadoop/hdfs/name文件夹存在

两个文件夹的权限都设置为755

在启动脚本之前成功格式化名称节点start-all.sh

脚本无法启动“NameNode”

这些都在主节点上运行

ubuntu@master:~/hadoop/bin$ jps

7067 TaskTracker
6914 JobTracker
7237 Jps
6834 SecondaryNameNode
6682 DataNode

ubuntu@slave5:~/hadoop/bin$ jps

31438 TaskTracker
31581 Jps
31307 DataNode

以下是名称节点日志文件中的日志。

..........
..........
.........

014-12-03 12:25:45,460 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source jvm registered.
2014-12-03 12:25:45,461 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source NameNode registered.
2014-12-03 12:25:45,532 INFO org.apache.hadoop.hdfs.util.GSet: Computing capacity for map BlocksMap
2014-12-03 12:25:45,532 INFO org.apache.hadoop.hdfs.util.GSet: VM type       = 64-bit
2014-12-03 12:25:45,532 INFO org.apache.hadoop.hdfs.util.GSet: 2.0% max memory = 1013645312
2014-12-03 12:25:45,532 INFO org.apache.hadoop.hdfs.util.GSet: capacity      = 2^21 = 2097152 entries
2014-12-03 12:25:45,532 INFO org.apache.hadoop.hdfs.util.GSet: recommended=2097152, actual=2097152
2014-12-03 12:25:45,588 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: fsOwner=ubuntu
2014-12-03 12:25:45,588 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: supergroup=supergroup
2014-12-03 12:25:45,588 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isPermissionEnabled=true
2014-12-03 12:25:45,622 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.block.invalidate.limit=100
2014-12-03 12:25:45,623 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
2014-12-03 12:25:45,716 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStateMBean and NameNodeMXBean
2014-12-03 12:25:45,777 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
2014-12-03 12:25:45,777 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times 
2014-12-03 12:25:45,785 INFO org.apache.hadoop.hdfs.server.common.Storage: Storage directory /home/ubuntu/hadoop/file:/home/ubuntu/hadoop/hdfs/name does not exist
2014-12-03 12:25:45,787 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/ubuntu/hadoop/file:/home/ubuntu/hadoop/hdfs/name is in an inconsistent state: storage directory does not exist or is not accessible.
    at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:304)
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:104)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:427)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:395)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:299)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:569)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1479)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1488)
2014-12-03 12:25:45,801 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/ubuntu/hadoop/file:/home/ubuntu/hadoop/hdfs/name is in an inconsistent state: storage directory does not exist or is not accessible.
    at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:304)
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:104)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:427)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:395)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:299)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:569)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1479)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1488)

从 hdfs-site.xml 文件中删除了“file:”

[错误的 HDFS-SITE.XML]

  <property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/home/hduser/mydata/hdfs/namenode</value>
  </property>
  <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/home/hduser/mydata/hdfs/datanode</value>
  </property>

[正确的 HDFS-SITE.XML]

  <property>
  <name>dfs.namenode.name.dir</name>
  <value>/home/hduser/mydata/hdfs/namenode</value>
  </property>


  <property>
  <name>dfs.datanode.data.dir</name>
  <value>/home/hduser/mydata/hdfs/datanode</value>
  </property>

谢谢Erik https://stackoverflow.com/users/2664547/erik-schmiegelow寻求帮助。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

HDFS

Nodes

hadoop/hdfs/name 处于不一致状态：存储目录(hadoop/hdfs/data/)不存在或不可访问 的相关文章

随机推荐

  • 将 numpy ndarray 写入图像

    我正在尝试在 Python 中读取二进制文件 8 位 RGB 元组 对其进行一些转换 然后将其写入为 png 图像 我正在执行以下操作 typeinfo np dtype gt i1 read single bytes data np fr

  • 在 PHP 中使用自动加载类时是否存在性能下降？

    目前 我通过在网站的每个页面上包含 all inc php 文件来加载所有类 然后该文件继续包含我将在整个网站上使用的所有配置 类 函数等 我的问题是 我经常使用仅与网站的某些页面 部分相关的类 因此我经常在页面开头包含一堆不会使用的类 显

  • 更改 imshow 来源

    我有一个包含 3 列的数据表 我想根据前两列在彩色二维图中绘制第三列 例如对于下表 即 4 0 4 0 0 313660827978 4 0 5 0 0 365348418405 4 0 6 0 0 423733120134 5 0 4 0

  • 如何在 Toad 中打开表名称自动完成功能？

    我使用的是 Toad 版本 11 0 0 116 当我开始输入表时 我没有获得默认的表名选项 如何开启自动完成功能 Pressing Ctrl should show you a list of available tables 例如输入

  • Jenkins 构建步骤在“npm install ”上失败

    Jenkins 新手 我正在 Jenkins 中设置我们的构建 设置构建步骤来运行 nodejs 脚本 使用 Sencha Touch 2 将构建的应用程序引入本机 iOS 应用程序的脚本 Nodejs 脚本需要扳手库 Jenkins 用户

  • OSX Lion 上 Java 应用程序的全屏功能

    如何在 Java 应用程序中 本地 实现 OSX Lion 的全屏功能 目前给出的答案包含了一种实现全屏功能的好方法 我读到 Eclipse 可能能够使用 Lion 的 本机 全屏功能 这就是我要问的 我在 Apple 的 Java 发行说

  • “npx react-native run-android”与“react-native run-android”有什么区别

    有什么区别npx 反应本机运行 android vs 反应本机运行 Android 目前有两个 CLI react native community cli 由react native直接使用的 这使得它成为您项目的传递依赖 react n

  • React-native 中 Stack.Screens 之间的 Stack.Navigator 淡入淡出过渡？

    如何在 React native 中为 Stacked Screes 添加过渡效果

  • 如何在使用基于类的视图注册后立即登录用户？

    我正在一个销售图像的网站上工作 我正在尝试找到一种方法 以便用户可以login注册后使用class基于视图 我已经使用基于函数的视图完成了它 但我想基于类进行它 因为它需要更少的代码 下面是与function基于的观点 My models

  • 为什么使用标志+位掩码而不是一系列布尔值？

    考虑到我有一个对象可能处于一个或多个真 假状态 我一直有点模糊为什么程序员经常使用标志 位掩码而不是只使用几个布尔值 一切都在 NET 框架上 不确定这是否是最好的示例 但 NET 框架具有以下内容 public enum AnchorSt

  • 使用 FCM 服务离线注销？

    通知消息有公共和私有两种类型 使用此应用程序的任何人都可以看到公共消息 私人消息只能由一个用户看到 这些私人消息可能包含一些机密信息 在iOS上实现这个场景时 设备的 FCM 令牌针对每个应用程序实例 即 在应用程序重新安装时 用户可能会获

  • 在传递函数指针时是否应该转发有关 noexcept-ness 的知识？

    我写了下面的代码来测试noexcept跨函数调用的传播 似乎它并不像我想象的那样工作 在 GCC 4 7 2 中 可以有效地测试函数是否被noexcept仅直接或作为模板专业化参数传递时 但not当作为参数传递给模板化函数时 或者作为函数指

  • ICollection - 获取单个值

    从 ICollection 获取值的最佳方式是什么 除此之外 我们知道该集合是空的 您可以使用 LINQ 来实现此目的 var foo myICollection OfType

  • -canOpenURL：URL 失败：“spotify：” - 错误：“(null)”

    不确定这是否属实 但从我读到的内容来看 人们说这个问题仅发生在 Xcode 模拟器上 因此您必须在实际设备上进行测试 问题是我当前的服务器是本地节点服务器http localhost 3000 并且我的iOS设备无法访问该服务器 1 有没有

  • 测试终结器和 IDisposable

    问题是如何测试调用 Finalize 时对象释放资源的事实 该类的代码 public class TestClass IDisposable public bool HasBeenDisposed get private set publi

  • 澄清比较不同类型的对象

    以下句子让我感到困惑 来自 python org 上的 Guido 教程 请注意 比较对象 不同类型是合法的 结果 是确定性的但任意的 类型按其名称排序 因此 列表总是小于 字符串 字符串总是较小 比元组等 比元组等 这意味着对于 a 90

  • 在 CustomListview 中使用 TTS 时出现 NullPointerException

    我有自定义列表视图 其中包含内容和 TTS 选项 在使用 TTS 时会抛出空指针异常 Listview 也不会显示我的应用程序已停止 Logcat 中显示错误 应用程序适配器 java public class ApplicationAda

  • 在 JMS 队列中使用 Ruby，而不是 JRuby？

    使用 Ruby 而不是 JRuby 将消息推送到 JMS 队列 由 Tibco EMS 托管 的最简单方法是什么 Stomp http docs codehaus org display STOMP Home是一种机制 允许任意客户 htt

  • Linq - 使用数组属性内的元素进行分组

    我有许多对象 每个对象都有一个数组 我想按数组内的值对这些对象进行分组 因此从概念上讲 它们如下所示 var objects new object1 new object elements 1 2 3 object2 new object

  • hadoop/hdfs/name 处于不一致状态：存储目录(hadoop/hdfs/data/)不存在或不可访问

    我已经尝试了 stackoverflow 上提供的有关此主题的所有不同解决方案 但没有帮助 再次询问具体的日志和详细信息 任何帮助表示赞赏 我的 Hadoop 集群中有 1 个主节点和 5 个从节点 ubuntu用户和ubuntu组是所有者

热门标签