程序员经验分享-hwhale

为什么我们要在 YARN 中配置 mapred.job.tracker？

2024-01-06

据我所知，YARN 被引入并取代了 JobTracker 和 TaskTracker。

我看过一些Hadoop 2.6.0/2.7.0安装教程，他们正在配置mapreduce.framework.name作为纱线和mapred.job.tracker属性为本地或主机：端口。

描述为mapred.job.tracker财产是

“MapReduce 作业跟踪器运行的主机和端口。如果是“本地”， 然后作业作为单个映射和化简任务在进程中运行。”

我的疑问是，如果我们使用 YARN ，为什么要配置它，我的意思是 JobTracker 不应该正常运行？

如果我的问题很愚蠢，请原谅我。

编辑：这些是我正在谈论的教程。

http://chaalpritam.blogspot.in/2015/01/hadoop-260-multi-node-cluster-setup-on.html http://chaalpritam.blogspot.in/2015/01/hadoop-260-multi-node-cluster-setup-on.html

http://pingax.com/install-apache-hadoop-ubuntu-cluster-setup/ http://pingax.com/install-apache-hadoop-ubuntu-cluster-setup/

https://chawlasumit.wordpress.com/2015/03/09/install-a-multi-node-hadoop-cluster-on-ubuntu-14-04/ https://chawlasumit.wordpress.com/2015/03/09/install-a-multi-node-hadoop-cluster-on-ubuntu-14-04/


这只是一个猜测，但那些讨论在 YARN 中配置 JobTracker 的教程要么是由不知道 YARN 是什么的人编写的，要么是他们设置它以防您有一天决定停止使用 YARN。你是对的：YARN 中不存在 JobTracker 和 TaskTracker。如果需要，您可以添加属性，但它们将被忽略。使用 YARN 添加了替换 JobTracker 和 TaskTracker 的每个组件的新属性，例如yarn.resourcemanager.address取代mapred.jobtracker.address.

如果在 YARN 下运行 Hadoop 时列出 Java 进程，您将看不到任何进程JobTrackeror TaskTracker:

10561 Jps
20605 NameNode
17176 DataNode
18521 ResourceManager
19625 NodeManager
18424 JobHistoryServer

您可以阅读更多有关YARN 在这里是如何工作的 http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/YARN.html.

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

MapReduce

hadoopyarn

为什么我们要在 YARN 中配置 mapred.job.tracker？ 的相关文章

随机推荐

  • 在java中从布尔值转换为字节

    我需要将字节值设置为方法参数 我有布尔变量isGenerated 它决定了该方法中要执行的逻辑 但我可以直接将布尔值作为字节参数传递 这是不允许的 并且不能在java中进行转换 所以我现在的解决方案如下所示 myObj setIsVisib

  • playframework如何从href中的html调用带有一个参数的方法？

    我有以下路线 GET company dev alvazan com test Web test GET company dev alvazan com samplepage Web samplePage 我可以访问 xxxx dev al

  • TCP 服务器未从客户端接收到正确的字节数

    我正在做一个用C语言进行TCP连接的小项目 标题中提到了我的代码的问题 以下是我的代码的上传部分 客户端 FILE fp fopen f2d rb if fp NULL perror Fail to upload client else f

  • 错误：请在 Android Studio 2.0 中选择 Android SDK

    我正在使用 Android Studio 2 0 Beta2 并且我正在尝试运行使用 google 地图 api v1 包com google android maps 作为 jar 文件 要运行这个旧项目 我需要指定早于上一个版本 23

  • Python 导入、路径、目录和模块

    首先我要说的是 我在过去的一周里做了广泛的研究 但还没有找到这些问题的实际答案 只是一些模糊的答案 并不能真正解释正在发生的事情 如果这只是因为我错过了我想要的东西 我很抱歉 请为我指出正确的方向 我的目录结构是 TestProject r

  • Spring Boot Web 应用程序错误：在名称为“dispatcherServlet”的 DispatcherServlet 中未找到带有 URI [/] 的 HTTP 请求的映射

    我检查了有关此警告的其他问题 但没有人工作 IDE Spring工具套件3 9 4 Java Oracle Java 8 当我尝试打开网页时显示错误页面 尝试本地主机 8080 https i stack imgur com FkoUo j

  • 主要 JavaScript 数据结构

    我即将参加面试 公司的核心技术之一是 JavaScript 有人告诉我 下一次面试将重点讨论 JS 数据结构 这个术语在我的任何教育中都从未出现过 我在谷歌上花了一段时间试图找到更多关于它们的信息 我能遇到的最好的事情是这个维基百科页面 h

  • PHP：open_basedir 允许的路径

    我有几个电话要打给is dir在一页上 他们一直工作没有问题 几天前 托管公司将PHP从5 2升级到5 3 从那时起 我所有的电话is dir导致以下错误 消息 Warning is dir open basedir restriction

  • OpenCV中是掩码按位与运算

    我从 python 中的 opencv 开始 我有一个关于如何应用 mask 的问题 bitwise and src1 src2 mask mask 以下哪一项描述了实现 A 全部按位 先屏蔽 src1 与掩码进行 与 运算 src2 与

  • Spring安全为所有角色名称添加了前缀“ROLE_”？

    我的网络安全配置中有以下代码 Override protected void configure HttpSecurity http throws Exception http authorizeRequests antMatchers a

  • FxCop 安装

    我正在尝试获取最新版本的 FxCop 我使用的是 Visual Studio 2010 Professional 版本 它不包含代码分析 因此我尝试使用 FxCop 进行设置 At http www microsoft com en us

  • 如何从 Python 3.10 反编译 .pyc 文件？

    我确实尝试过 uncompyle6 decompyl3 等 但它们都不适用于 3 10 现在是否有可能做到这一点 使用pycdc GitHub https github com zrax pycdc https github com zra

  • 在 Windows 上运行 MySQL 或 MariaDB 服务器的最少文件 - （便携式 MySQL/MariaDB）

    我正在寻找 MariaDB 或 MySQL 运行所需的最少文件 而无需像便携式服务器一样安装它 我更喜欢 MariaDB 而不是 MySQL 我想将它嵌入到用 Delphi 编写的软件中 我的软件将能够根据需要启动和停止服务器 我用谷歌搜索

  • Nivo 滑块：第一次显示时第一张图像缩放不成比例

    我在 div 中使用 Nivo Slider jQuery 插件 该 div 的尺寸比我正在显示的图像小 当滑块滑动到第二个图像时 图像上的图像会正确缩小 但是 当第一次显示第一个图像时 加载页面后立即 它仅在宽度上缩放 而在高度上不缩放

  • 如何重新映射 python 字典键

    我正在开发一个程序 该程序 除其他外 读取 CSV 文件 它以以下形式存储为字典数组 col1 data1a col2 data2a col1 data1b col2 data2b 对于每一行 作为其他处理的一部分 我需要将这些键重新映射到

  • 更改 UITableView 的节页眉/页脚标题而不重新加载整个表视图

    有没有办法在不调用的情况下重新加载表视图的节页眉 页脚 tableView reloadData 事实上 我想在表视图的部分页脚中显示表格视图部分中的单元格数量 表视图是可编辑的 我使用删除或插入行 insertRowsAtIndexPat

  • Android：将 PNG ByteArray 写入文件

    我已将图像文件读入 ByteArray 但如何将其写回 我的意思是将 ByteArray 保存到文件系统中的图像文件 首选 PNG 格式 我的代码从 PNG 文件到 ByteArray ByteArrayOutputStream strea

  • 使用 Quartz 跨多个无状态应用程序服务器调度单个作业

    我在负载均衡器后面有一层相同的应用程序服务器 出于操作原因 我有一个限制 即两个应用程序服务器上的应用程序配置必须相同 以便可以轻松添加和删除节点 所有应用程序服务器共享相同的数据库 应用程序服务器不会 不会集群 到目前为止 这一切都运行良

  • 在片段中初始化字体

    我有这一行 Typeface font Typeface createFromAsset getAssets fonts Delius Regular ttf but the getAssets 参数似乎带来了一些错误 它带有可怕的红线下划

  • 为什么我们要在 YARN 中配置 mapred.job.tracker？

    据我所知 YARN 被引入并取代了 JobTracker 和 TaskTracker 我看过一些Hadoop 2 6 0 2 7 0安装教程 他们正在配置mapreduce framework name作为纱线和mapred job tra

热门标签