我在执行时遇到问题distcp两个不同的命令之间hadoop簇,
引起原因:java.io.IOException:长度不匹配
来源:hdfs://ip1/xxxxxxxxxxx/xxxxx 和
目标:hdfs://nameservice1/xxxxxx/.distcp.tmp.attempt_1483200922993_0056_m_000011_2
我尝试使用 -pb 和 -skipcrccheck:
hadoop distcp -pb -skipcrccheck -update hdfs://ip1/xxxxxxxxxx/xxxxx hdfs:///xxxxxxxxxxxx/
hadoop distcp -pb hdfs://ip1/xxxxxxxxxx/xxxxx hdfs:///xxxxxxxxxxxx/
hadoop distcp -skipcrccheck -update hdfs://ip1/xxxxxxxxxx/xxxxx hdfs:///xxxxxxxxxxxx/
但似乎没有任何作用。
请任何解决方案。
我在两个版本完全相同的 Hadoop 集群之间遇到了同样的 distcp 问题。对我来说,这是由于源目录之一中的某些文件仍然打开。当我分别为每个源目录运行 distcp 时,我发现情况确实如此 - 除了包含打开文件的一个目录之外的所有目录,它都工作得很好,并且仅适用于这些文件。当然,乍一看很难判断。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)