我在 Ubuntu 12.04 上使用两个 8 核节点设置了 hadoop 2.6 集群。sbin/start-dfs.sh
and sbin/start-yarn.sh
两者都成功了。之后我可以看到以下内容jps
在主节点上。
22437 DataNode
22988 ResourceManager
24668 Jps
22748 SecondaryNameNode
23244 NodeManager
The jps
从节点上的结果是
19693 DataNode
19966 NodeManager
然后我运行 PI 示例。
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 30 100
这给了我错误日志
java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message tag had invalid wire type.; Host Details : local host is: "Master-R5-Node/xxx.ww.y.zz"; destination host is: "Master-R5-Node":54310;
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:772)
at org.apache.hadoop.ipc.Client.call(Client.java:1472)
at org.apache.hadoop.ipc.Client.call(Client.java:1399)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)
at com.sun.proxy.$Proxy9.getFileInfo(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo(ClientNamenodeProtocolTranslatorPB.java:752)
尝试该命令后,问题似乎出在 HDFS 文件系统上bin/hdfs dfs -mkdir /user
失败并出现类似的异常。
java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message tag had invalid wire type.; Host Details : local host is: "Master-R5-Node/xxx.ww.y.zz"; destination host is: "Master-R5-Node":54310;
where xxx.ww.y.zz
是 Master-R5-Node 的 ip 地址
我已检查并遵循了所有建议连接被拒绝 http://wiki.apache.org/hadoop/ConnectionRefused在 Apache 和本网站上。
尽管经过一周的努力,我还是无法修复它。
Thanks.