我使用 Yarn 下载了 Hadoop 的 CDH4 tar，作业运行良好，但我不知道在哪里查看作业日志。在 MRv1 中，我只需访问 JobTracker Web 应用程序，它就有工作历史记录。也可以从这里访问各个作业的日志，或者转到logs/userlogs 目录。
在我的新 Yarn 设置（仅在单台计算机上运行）中，我有日志目录，但没有日志/用户日志文件夹。
当我转到 ResourceManager 网页 localhost:8088 时，有一个“所有应用程序”部分，但此处没有显示任何条目。当我访问 JobHistory 网页 localhost:19888 时，没有列出任何职位。
我想知道是否存在配置问题。这是我的yarn-site.xml 条目：
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/Users/dolan/cdh4/_hadoop_data/yarn/local</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/Users/dolan/cdh4/_hadoop_data/yarn/logs</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>localhost:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>localhost:19888</value>
</property>
<property>
<name>yarn.app.mapreduce.am.staging-dir</name>
<value>/user</value>
</property>
非常感谢有关调试内容的任何提示。
Update:我检查了节点管理器日志目录，它是空的。此外，jobhistory 目录是空的。一件奇怪的事情是 Hadoop 告诉我，INFO mapreduce.Job: The url to track the job: http://localhost:8080/，但是当我从浏览器尝试时该地址不可用。
更新#2：我注意到我运行的每个作业都有相同的作业 ID（“job_local_0001”）。这似乎是某处的配置问题。
听起来这里的作业是在本地运行的，而不是在 YARN 上运行。要在 YARN 上运行作业，请确保您的 mapred-site.xml 中有以下内容：
<property>
<name> mapreduce.framework.name</name>
<value>yarn</value>
</property>
一般来说，通过向 cdh 用户邮件列表发送电子邮件，您可能会得到对此类问题的更快答复。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
