程序员经验分享-hwhale

为什么运行hadoop时数据节点会关闭？

2024-04-03

我在 VirtualBox 的 ubuntu 11.0.4 上安装了 hadoop 1.0.4（与我的主机名相同），不知何故数据节点关闭，在日志文件中出现以下错误

/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = VirtualBox/127.0.1.1
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.0.4
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290; compiled by 'hortonfo' on Wed Oct  3 05:13:58 UTC 2012
************************************************************/
2013-08-18 19:52:21,301 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2013-08-18 19:52:21,394 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2013-08-18 19:52:21,412 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2013-08-18 19:52:21,417 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2013-08-18 19:52:23,207 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2013-08-18 19:52:23,276 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
2013-08-18 19:52:26,887 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /app/hadoop/tmp/dfs/data: namenode namespaceID = 457871323; datanode namespaceID = 2066655210
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:232)
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:147)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:385)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:299)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1582)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1521)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1539)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1665)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1682)

2013-08-18 19:52:26,903 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at VirtualBox/127.0.1.1
************************************************************/

知道为什么吗？我该如何解决它？


我已经发生过几次这种情况了。如果重新启动数据节点没有帮​​助，请执行以下操作：

  1. 重启Hadoop
  2. 转到/app/hadoop/tmp/dfs/name/current
  3. 打开版本（即通过vim VERSION)
  4. 记录命名空间ID
  5. 转到/app/hadoop/tmp/dfs/data/current
  6. 打开版本（即通过vim VERSION)
  7. 将命名空间 ID 替换为您在步骤 4 中记录的命名空间 ID。

这应该可以解决问题。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Java

Hadoop

IOException

为什么运行hadoop时数据节点会关闭？ 的相关文章

随机推荐

  • 在一个请求中创建多个项目的 RESTful 方式

    我正在开发一个小型客户端服务器程序来收集订单 我想以 REST ful 方式 来做到这一点 我想做的是 收集所有订单行 产品和数量 并将完整订单发送到服务器 目前我看到有两种选择可以做到这一点 将每个订单行发送到服务器 POST qty 和

  • 在 AngularJS 中使用逗号作为列表分隔符

    我需要创建一个以逗号分隔的项目列表 li b email last b li 根据 AngularJS 文档 表达式中不允许使用控制流语句 这就是为什么我的 last 不起作用 是否有其他方法来创建逗号分隔的列表 EDIT 1有没有比以下更

  • SQLite 并插入 UTC 格式的当前日期

    如何在 sqlite 数据库上使用 SQL 语句插入 UTC 格式的当前日期 我找到了NOW函数 但它的格式是什么 这将在移动设备上进行 因此每个人都会有不同的区域设置 但是 我需要标准时间格式 因为设备会将日期与我的服务器进行比较 另外

  • Python - DM 用户 Discord 机器人

    我正在 Python 中开发一个 User Discord 机器人 如果机器人所有者输入 DM user然后机器人会私信所有者提到的用户 client event async def on message message if messag

  • 是否可以在同一个 html 页面中多次使用相对位置？

    我在主页上使用 相对位置 和 绝对位置 我有一个使用上述母版页的页面 并且我尝试在此页面中再次对其他 2 个元素使用 相对位置 和 绝对位置 但该页面中下面的元素 绝对位置 是不是根据其上方的元素放置的 相对位置 而是指母版页中元素的 相对

  • 如何在 JavaFX 中将 GUI 覆盖到 3D 场景上？

    我在 JavaFX 中有一个 3D 场景 需要在 3D 场景上覆盖 GUI 我尝试向场景添加按钮和文本 但它们始终作为 3D 对象出现在 3D 视图中 我环顾四周 没有找到该怎么做 唯一的解决方法是创建一个全新的窗口并将设置放在那里 但在这

  • Android Facebook - 获取空个人资料

    第一次使用 Facebook SDK 我无法获取用户个人资料 它始终为空 怎么了 btnFbWidget LoginButton findViewById R id btnFbWidget btnFbWidget setReadPermis

  • 删除indexedDB对象存储中特定索引值的所有记录

    对于数组键为的对象存储 a b where a也是一个索引 有没有更有效的方法来删除特定值的所有记录a而不是在索引上打开游标a并通过光标逐步删除每条记录 有没有办法只为索引定义键范围 或者只为索引定义键范围a然后离开b打开任何值 以便可以删

  • 如何在 AngularJS 和 Jasmine 中对 $http 进行单元测试

    这是我的代码 因为代码很长 所以我做了一个 Plunker describe create function it Should be defined function expect BaseService create toBeDefin

  • 导入特定于版本的 python 模块的最佳方法

    对于在特定于版本的 python 中导入模块 哪种方法最有意义 我的用例是 我正在编写将部署到 python 2 3 环境中的代码 并在几个月内升级到 python 2 5 这 if sys version info 2 gt 2 5 fr

  • 复制到剪贴板需要花费大量时间

    我有以下代码将 25MB 的数据复制到剪贴板 star time after populating HTML and Text const start time new Date getTime navigator clipboard wr

  • Applescript 将启动 Chrome（具体内容）

    我真的很难创建一些在 osx 上启动浏览器窗口 chrome 的方法 具体细节包括窗口大小 没有选项卡等 传统上 我通过带有 IE 的窗口使用 vb 脚本 这是一个非常简单的练习 但我 我将是第一个承认的人 当谈到 Mac 时 我感到非常挣

  • Rails 3 ActiveRecord .skip_callback 线程安全

    这段代码线程安全吗 MyModel skip callback save before my callback my model instance update attributes attributes MyModel set callb

  • 错误：(9, 5) 错误：找不到资源 android:attr/dialogCornerRadius

    所以我安装了 android studio 3 0 1 一旦打开构建的 gradle 并显示以下错误 我尝试添加设计和支持等依赖项 但徒劳无功 有人可以帮助我吗 它显示了一些属性 例如dialogCornerRadius and fontV

  • 将字符串转换为代码隐藏中的可执行 C# 代码[重复]

    这个问题在这里已经有答案了 可能的重复 在 C 4 0 中执行字符串 https stackoverflow com questions 760088 execute a string in c sharp 4 0 我怎样才能让这个字符串执

  • 使用 Cocoa 获取当前播放的歌曲

    有没有一种方法 当然有一种方法 但哪种方法 以编程方式获取 Mac OS 10 5 8 和 OS 10 6 上 iTunes 中当前播放的歌曲的信息 我的 Cocoa 应用程序需要这个 我使用 iTunes 8 和 Objective C

  • 是否可以使用 AndroidAnnotations 注入模拟以进行测试？

    我还没有找到任何关于如何执行此操作的示例 我假设基于这样的例子这是不可能的 Bean MyImplementation class MyInterface myInterface 其中要注入的类已经确定 的补充johncarl answer

  • 在线视频流

    我想制作一个视频网站 我们可以在其中上传任何格式的视频并像 youtube 一样显示 我怎样才能做到这一点 我的整个网站都是用 PHP 编写的 我是视频流 SP 的新手 请描述一下您的答案 Thanks 首先你需要一个用Flash Acti

  • 如何在 SWIFT 3 中将 HTTPS 代理添加到 NSURLSession

    我使用以下代码连接到代理服务器 并且仅适用于 HTTP 请求 但不适用于 HTTPS 在 iOS 9 0 中 kCFStreamPropertyHTTPSProxyHost and kCFStreamPropertyHTTPSProxyPo

  • 为什么运行hadoop时数据节点会关闭？

    我在 VirtualBox 的 ubuntu 11 0 4 上安装了 hadoop 1 0 4 与我的主机名相同 不知何故数据节点关闭 在日志文件中出现以下错误 STARTUP MSG Starting DataNode STARTUP M

热门标签