如何在 hadoop 2.5.2 上启动并检查作业历史记录

2024-01-02

  1. 在每个应用程序的mapreduce webconsole中都有一个指向xx:19888/jobhistory/的跟踪ui链接,但是如何在19888上启动服务(我已经启动了4个服务:yarn-resource-manager、yarn-node-manager、 hdfs-name-node,hdfs-data-node,我错过了什么?)
  2. jobtracker在2.5.2中被删除了吗
  3. 我想检查为我的作业生成的 job.xml,在哪里可以找到它。我已指定“mapreduce.jobtracker.jobhistory.location”,但什么也没有

谢谢。


  1. 要访问 JobHistory 服务器的 Web 界面,您必须启动hadoop-mapreduce-historyserver服务,它将绑定到19888默认情况下。
  2. 如果您在集群中运行 YARN,那么您不再需要 jobtracker,jobtracker 完成的工作将被卸载到 ResourceManager、NodeManager 和 ApplicationMaster。但是,您仍然可以仅安装 MRv1,在这种情况下您将安装 JobTracker 和 TaskTracker(不推荐)。
  3. 您可以通过导航到 ResourceManager 的 UI 检查 job.xmlhttp://RESOURCEMANAGER_HOST:8088/cluster-> 选择您的应用程序追踪界面-> 选择您的Job ID-> 在左侧选项卡上您将能够看到配置。或者,如果您已经知道您的工作 ID,请访问此链接:http://JOBHISTORY_SERVER:19888/jobhistory/conf/YOUR_JOB_ID.
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何在 hadoop 2.5.2 上启动并检查作业历史记录 的相关文章

随机推荐