hadoop 协议消息标记的线路类型无效

2023-12-22

我在 Ubuntu 12.04 上使用两个 8 核节点设置了 hadoop 2.6 集群。sbin/start-dfs.sh and sbin/start-yarn.sh两者都成功了。之后我可以看到以下内容jps在主节点上。

22437 DataNode
22988 ResourceManager
24668 Jps
22748 SecondaryNameNode
23244 NodeManager

The jps从节点上的结果是

19693 DataNode
19966 NodeManager

然后我运行 PI 示例。

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 30 100

这给了我错误日志

java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message tag had invalid wire type.; Host Details : local host is: "Master-R5-Node/xxx.ww.y.zz"; destination host is: "Master-R5-Node":54310; 
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:772)
    at org.apache.hadoop.ipc.Client.call(Client.java:1472)
    at org.apache.hadoop.ipc.Client.call(Client.java:1399)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)
    at com.sun.proxy.$Proxy9.getFileInfo(Unknown Source)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo(ClientNamenodeProtocolTranslatorPB.java:752)

尝试该命令后,问题似乎出在 HDFS 文件系统上bin/hdfs dfs -mkdir /user失败并出现类似的异常。

java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message tag had invalid wire type.; Host Details : local host is: "Master-R5-Node/xxx.ww.y.zz"; destination host is: "Master-R5-Node":54310;

where xxx.ww.y.zz是 Master-R5-Node 的 ip 地址

我已检查并遵循了所有建议连接被拒绝 http://wiki.apache.org/hadoop/ConnectionRefused在 Apache 和本网站上。

尽管经过一周的努力,我还是无法修复它。

Thanks.


导致我面临问题的原因有很多。但我最终使用它修复了它some以下的事情。

  1. 确保您拥有所需的权限/hadoop and hdfs temporary文件。 (你必须弄清楚你的具体情况在哪里)
  2. 从中删除端口号fs.defaultFS in $HADOOP_CONF_DIR/core-site.xml。它应该看起来像这样:
`<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://my.master.ip.address/</value>
<description>NameNode URI</description>
</property>
</configuration>`
  1. 将以下两个属性添加到`$HADOOP_CONF_DIR/hdfs-site.xml
 <property>
    <name>dfs.datanode.use.datanode.hostname</name>
    <value>false</value>
 </property>

  <property>
     <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
     <value>false</value>
  </property>

瞧!您现在应该可以启动并运行了!

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

hadoop 协议消息标记的线路类型无效 的相关文章

随机推荐

  • Javascript 的 sort() 是如何工作的?

    下面的代码如何按数字顺序对该数组进行排序 var array 25 8 7 41 array sort function a b return a b 我知道如果计算结果是 小于0 a 被排序为比 b 更低的索引 Zero a 和 b 被认
  • jQuery Mobile 无法刷新可折叠集

    我正在使用 jQuery mobile 创建一个应用程序 并从 wordpress throw jsonp 加载其菜单和页面 我以可折叠集和列表视图的形式加载其菜单 但我不断收到错误 当我尝试通过此代码刷新可折叠集时 childnev ht
  • 如何快速取消多个线程之一

    我有一个启动 3 个异步线程的函数 每个线程都会做一些需要一些时间的事情 当某个线程首先完成时 我需要它来停止其他两个线程 但我不知道该怎么做 还 My code class SomeController UIViewController
  • django、phpmyadmin 和 mysql?

    我想开始使用 Django 和 MYSQL 而不是一直使用 sqlite 但是我使用 MSQL 的唯一经验是通过 XAMPP 通过 phpmyadmin 操作数据库 我真的很想保持与 mysql 的 GUI 交互 而不必通过命令行完成所有操
  • pyinstaller:ModuleNotFoundError:没有名为“cv2”的模块

    我正在尝试创建一个简单的软件 pyinstaller 激活计算机摄像头 但我遇到了错误ModuleNotFoundError No module named cv2 但是 当我使用命令提示符运行相同的代码时 它会按照我想要的方式完美运行 i
  • JVM Hotspot 上的 PrintAssembly 选项已启用,但未显示任何程序集跟踪

    我正在使用 intel i386 Ubuntu 14 OpenJDK 版本信息显示为 java version is java version 1 7 0 65 OpenJDK Runtime Environment IcedTea 2 5
  • Windows 10 inkscape 0.92 中无法识别 libxml

    Inkscape 抱怨没有 libxml 所以我安装了 Windows 10 的 lxml 在修改路径 gt 抖动节点期间它再次抱怨 所以我重新启动了 Inkscape 它仍然在抱怨 有谁知道如何解决这个问题吗 提前致谢 错误 inkex
  • 了解议程组的锁定活动

    我尝试了一个示例来了解锁定活动的工作原理 当我在不使用议程组的情况下触发规则时 一切似乎都很好 但是 当我取消注释下面代码中的议程组并将焦点设置为组 B 组 时 不会触发任何规则 Rule rule Additional Rs 1 tax
  • 在 pandas.DataFrame.query() 表达式中使用负数

    我尝试使用 pandas DataFrame query 函数 如下所示 expression string ColumnName lt 1000 output dataframe dataframe query expression st
  • 将 vline 添加到 geom_密度 和均值 R 的阴影置信区间

    阅读不同的帖子后 我发现如何将均值 vline 添加到密度图 如图所示here http www cookbook r com Graphs Plotting distributions ggplot2 使用上面链接中提供的数据 1 如何使
  • 调用 API 后的 React-redux 导航

    下面是我的减速器代码 import as Helper from utils helper import AppNavigator from Navigation navigationStack const initialState use
  • 在不使用关系代数中的 max 函数的情况下查找两个表之间的最大值

    假设我有两张桌子A int m and B int m 我必须找到最大值m在使用关系代数的两个表之间 但我不能使用 max 函数 我该怎么做 我认为使用 join 我们可以做到这一点 但我不确定我的猜测是否正确 Note 这是一个面试问题
  • 最小的 i 且 1/i == 1/(i+1)?

    Someone reverse sorted by 1 i instead of the usual i and it made me wonder What is the smallest positive integer case wh
  • bash 脚本中 stderr 的临时重定向

    我有一个简单的脚本 用于启动另一个程序 这个其他程序有时可能会产生一个SIGSEGV 这会扰乱我的输出 因此 我添加了几行 应该暂时重定向stderr to dev null使得SIGSEGV被忽略 以下是我的代码草稿 exec 2 gt
  • 具有命名/标记类型的 C# 字典

    我已经搜索了几乎所有地方 甚至不确定这是否可能 但是嘿 我想我会看看你们 C 向导可能有什么解决方案或解决方法 TL DR 我有一个使用 C 字典的多维集合 并且想要指示字典中每个字符串的用途 如下所示 private Dictionary
  • 如何禁用或更改 Ghostdriver.log 的路径?

    问题很简单 但一些内容可能会有所帮助 我正在尝试部署 scrapy 同时使用 selenium 和 phantomjs 作为下载器 但问题是在尝试部署时它一直说权限被拒绝 所以我想更改 Ghostdriver log 的路径或只是禁用它 看
  • Kubernetes 上的 Redis 主/从复制可实现超低延迟

    图表总是比最后的句子更好 所以这就是我想做的 总结 我想要在我的 K8S 集群外部 或内部 这与此无关 有一个 Redis 主实例 我想要一个 Redis 从实例per node复制主实例 我希望在删除节点时 Redis 从属 pod 从主
  • 如何在运行时在 spring-SAML 中添加新的 idp 元数据

    我正在集成 spring security saml 扩展来支持我的 Web 应用程序中的 SSO 我的应用程序应该允许不同的客户将其 IDP 元数据和证书添加到我的 web 应用程序 这是一个 SP 以便我的 web 应用程序可以针对他们
  • Java 中的电话号码验证

    我正在使用以下代码来验证电话号码 要求电话号码长度应在10 25个字符之间 应包含连字符 句点 括号 import java util regex Matcher import java util regex Pattern public
  • hadoop 协议消息标记的线路类型无效

    我在 Ubuntu 12 04 上使用两个 8 核节点设置了 hadoop 2 6 集群 sbin start dfs sh and sbin start yarn sh两者都成功了 之后我可以看到以下内容jps在主节点上 22437 Da