我正在尝试设置Hadoop簇于Fedora 17。
当我给予/bin/star-all.sh命令守护进程正在主节点和从节点上启动。
但是当我查看主节点上数据节点的日志文件时，我得到以下 EROOR
错误org.apache.hadoop.security.UserGroupInformation：PriviledgedActionException为：hadoop1原因：java.io.IOException：文件 /home/hadoop1/mapred/system/jobtracker.info 只能复制到 0 个节点，而不是 1 个
2013-03-23 15:37:08,205 INFO org.apache.hadoop.ipc.Server：9100 上的 IPC 服务器处理程序 5，调用 addBlock(/home/hadoop1/mapred/system/jobtracker.info，DFSClient_-838454688，null)来自 127.0.0.1:40173: 错误: java.io.IOException: 文件 /home/hadoop1/mapred/system/jobtracker.info 只能复制到 0 个节点，而不是 1 个节点
java.io.IOException：文件 /home/hadoop1/mapred/system/jobtracker.info 只能复制到 0 个节点，而不是 1 个节点
在 org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1558)
在 org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:696)
在 sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）
在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
在 sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）
在 java.lang.reflect.Method.invoke(Method.java:601)
在 org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)
在 org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)
在 org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)
在 java.security.AccessController.doPrivileged（本机方法）
在 javax.security.auth.Subject.doAs(Subject.java:415)
在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
在 org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)
我也在尝试运行 wordcound 程序。使用命令将数据复制到 HDFS 时
$bin/hadoop dfs -copyFromLocal /home/hadoop1/Documents/wordcount/ /home/hadoop1/hdfs/data我收到以下错误
警告 hdfs.DFSClient: DataStreamer 异常: org.apache.hadoop.ipc.RemoteException: java.io.IOException: 文件 /home/hadoop1/hdfs/data/wordcount/pg20417.txt 只能复制到 0 个节点，而不是 1 个节点
在 org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1558)
在 org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:696)
在 sun.reflect.GenerateMethodAccessor5.invoke（来源未知）
在 sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）
在 java.lang.reflect.Method.invoke(Method.java:601)
在 org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)
在 org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)
在 org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)
在 java.security.AccessController.doPrivileged（本机方法）
在 javax.security.auth.Subject.doAs(Subject.java:415)
在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
在 org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)
at org.apache.hadoop.ipc.Client.call(Client.java:1070)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
at $Proxy1.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
at $Proxy1.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3510)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3373)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2589)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2829)
13/03/23 15:41:05 警告 hdfs.DFSClient：块 null 错误数据节点 [0] 节点 == null 的错误恢复
13/03/23 15:41:05 警告 hdfs.DFSClient：无法获取块位置。源文件“/home/hadoop1/hdfs/data/wordcount/pg20417.txt” - 正在中止...
copyFromLocal: java.io.IOException: 文件 /home/hadoop1/hdfs/data/wordcount/pg20417.txt 只能复制到 0 个节点，而不是 1 个节点
13/03/23 15:41:05 错误 hdfs.DFSClient: 异常关闭文件 /home/hadoop1/hdfs/data/wordcount/pg20417.txt : org.apache.hadoop.ipc.RemoteException: java.io.IOException: 文件/home/hadoop1/hdfs/data/wordcount/pg20417.txt 只能复制到 0 个节点，而不是 1 个
在 org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1558)
在 org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:696)
在 sun.reflect.GenerateMethodAccessor5.invoke（来源未知）
在 sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）
在 java.lang.reflect.Method.invoke(Method.java:601)
在 org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)
在 org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)
在 org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)
在 java.security.AccessController.doPrivileged（本机方法）
在 javax.security.auth.Subject.doAs(Subject.java:415)
在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
在 org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)
感谢这方面的帮助。
我设法解决了这个问题...
步骤 I) 主节点和从节点计算机上的防火墙处于活动状态。
我通过以下命令禁用它“systemctl禁用iptables.service”
步骤 II）我在 Slave 的 core-sites.xml 配置文件中错误地将“hdfs://localhost:9100”分配给“fs.default.name”。我将其更改为“hdfs://master:9100”
现在我的 Hadoop 集群已经启动了..
谢谢克里斯的好意帮助...
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
