需要一些快速帮助。我们的作业在 MapR 下运行良好,但是当我们在 Cloudera 5.1 上启动相同的作业时,它继续以本地模式运行。
我确信这是某种配置问题。它是哪个配置设置?
14/08/22 12:16:58 INFO mapreduce.Job: map 0% reduce 0%
14/08/22 12:17:03 INFO mapred.LocalJobRunner: map > map
14/08/22 12:17:06 INFO mapred.LocalJobRunner: map > map
14/08/22 12:17:09 INFO mapred.LocalJobRunner: map > map
Thanks.
问题是 Cloudera 5.1 在 Yarn 下运行“Yarn”发行版,如果您想启动 MapReduce 作业,则不应使用:
java-cp $CLASSPATH CLASSNAME (在 Yarn 下,这将以本地模式启动作业。)
相反你必须使用
yarn-cp $CLASSPATH 类名
另外,我了解到的另一件事是,您可以通过运行以下命令来获取 HADOOP 类路径:
纱线类路径
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)