YARN 中应用程序管理器和应用程序主控之间的区别?

2023-12-27

我了解 MRv1 的工作原理。现在我试图了解 MRv2.. YARN 中的应用程序管理器和应用程序主控之间有什么区别?


应用程序主控和应用程序管理器这两个术语通常可以互换使用。实际上,Application Master 是请求、启动和监视应用程序特定资源的主要容器,而 Application Manager 是 ResourceManager 内部的一个组件。下面给出了有关应用程序管理器的更多详细信息。

ApplicationsManager 负责维护已提交的集合 应用程序。提交申请后,首先验证申请的 规范并拒绝任何为其请求无法满足的资源的应用程序 ApplicationMaster(即集群中没有节点有足够的资源来 运行 ApplicationMaster 本身)。然后它确保没有其他应用程序已经存在 使用相同的应用程序 ID 提交 — 这种情况可能是由于错误的 或恶意客户端。最后,它将接受的申请转发给调度程序。 该组件还负责记录和管理已完成的应用程序 在它们完全从资源管理器中撤离之前一段时间 记忆。当应用程序完成时,它会将 ApplicationSummary 放置在守护程序的 日志档案。 最后,ApplicationsManager 会在很久之后保留已完成应用程序的缓存。 应用程序完成支持用户对应用程序数据的请求(通过Web UI或命令 线)。配置属性yarn.resourcemanager.max-completed-applications 控制 ResourceManager 所完成的应用程序的最大数量 任何时候都会记得。缓存是先进先出列表,最旧的应用程序 被搬出以适应新完成的应用程序。

参考:Hadoop YARN 书籍 http://yarn-book.com/

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

YARN 中应用程序管理器和应用程序主控之间的区别? 的相关文章

  • Hive 中字符串数据类型是否有最大大小?

    谷歌了很多 但没有在任何地方找到它 或者这是否意味着只要允许集群 Hive 就可以支持任意大字符串数据类型 如果是这样 我在哪里可以找到我的集群可以支持的最大字符串数据类型大小 提前致谢 Hive 列表的当前文档STRING作为有效的数据类
  • 在 Hadoop 中按文件中的值排序

    我有一个文件 其中每行包含一个字符串 然后是一个空格 然后是一个数字 例子 Line1 Word 2 Line2 Word1 8 Line3 Word2 1 我需要按降序对数字进行排序 然后将结果放入文件中 为数字分配排名 所以我的输出应该
  • 在Spark的客户端模式下,驱动程序需要网络访问远程执行程序?

    使用火花时在客户端模式 例如yarn client 运行驱动程序的本地计算机是否直接与运行远程执行程序的集群工作节点通信 如果是 是否意味着机器 运行驱动程序 需要具有对工作节点的网络访问权限 那么master节点向集群请求资源 并将wor
  • 在 Hadoop 中处理带标头的文件

    我想在 Hadoop 中处理很多文件 每个文件都有一些头信息 后面跟着很多记录 每个记录都存储在固定数量的字节中 对此有何建议 我认为最好的解决方案是编写一个自定义的InputFormat http hadoop apache org co
  • Hadoop安装问题:

    我跟着this http www bogotobogo com Hadoop BigData hadoop Install on ubuntu single node cluster phpHadoop 安装教程 不幸的是 当我运行全部启动
  • 异常:java.lang.Exception:使用 master 'yarn' 运行时,必须在环境中设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR。在火花中

    我是新的阿帕奇火花 我已经在spark独立模式下测试了一些应用程序 但我想运行应用程序yarn模式 我正在windows中运行apache spark 2 1 0 这是我的代码 c spark gt spark submit2 master
  • 获取 emr-ddb-hadoop.jar 将 DynamoDB 与 EMR Spark 连接

    我有一个 DynamoDB 表 需要将其连接到 EMR Spark SQL 才能对该表运行查询 我获得了带有发行标签 emr 4 6 0 和 Spark 1 6 1 的 EMR Spark Cluster 我指的是文档 使用 Spark 分
  • 将日期字符串转换为“MM/DD/YY”格式

    我刚刚看到这个例子 我该如何解决这个问题 Hive 元存储包含一个名为 Problem1 的数据库 其中包含一个名为 customer 的表 customer 表包含 9000 万条客户记录 90 000 000 每条记录都有一个生日字段
  • hive创建表的多个转义字符

    我正在尝试将带有管道分隔符的 csv 加载到配置单元外部表 数据值包含单引号 双引号 括号等 使用 Open CSV 版本 2 3 测试文件 csv id name phone 1 Rahul 123 2 Kumar s 456 3 Nee
  • 如何在 Hadoop 中将 String 对象转换为 IntWritable 对象

    我想转换String反对IntWritableHadoop 中的对象 任何过程都可以进行转换 IntWritable value new IntWritable Integer parseInt someString 并处理以下可能性par
  • 遍历 ArrayWritable - NoSuchMethodException

    我刚刚开始使用 MapReduce 并且遇到了一个奇怪的错误 我无法通过 Google 回答该错误 我正在使用 ArrayWritable 制作一个基本程序 但是当我运行它时 在Reduce过程中出现以下错误 java lang Runti
  • 如何使用 Amazon 的 EMR 在 CLI 中使用自定义 jar 指定 mapred 配置和 java 选项?

    我想知道如何指定mapreduce配置 例如mapred task timeout mapred min split size等等 当使用自定义 jar 运行流作业时 当我们使用 ruby 或 python 等外部脚本语言运行时 我们可以使
  • 猪参考

    我正在学习 Hadoop Pig 并且我总是坚持引用元素 请查找下面的示例 groupwordcount group chararray words bag of tokenTuples from line token chararray
  • Hive - 线程安全的自动递增序列号生成

    我遇到一种情况 需要将记录插入到特定的 Hive 表中 其中一列需要是自动递增的序列号 即在任何时间点都必须严格遵循 max value 1 规则 记录从许多并行的 Hive 作业插入到这个特定的表中 这些作业每天 每周 每月批量运行 现在
  • 在映射器的单个输出上运行多个减速器

    我正在使用地图缩减实现左连接功能 左侧有大约 6 亿条记录 右侧有大约 2300 万条记录 在映射器中 我使用左连接条件中使用的列来创建键 并将键值输出从映射器传递到减速器 我遇到性能问题 因为两个表中的值数量都很高的映射器键很少 例如分别
  • Spark 有没有办法捕获执行器终止异常?

    在执行我的 Spark 程序期间 有时 其原因对我来说仍然是个谜 yarn 会杀死容器 执行器 并给出超出内存限制的消息 我的程序确实恢复了 但 Spark 通过生成一个新容器重新执行任务 但是 在我的程序中 任务还会在磁盘上创建一些中间文
  • YARN UNHEALTHY 节点

    在我们的 YARN 集群已满 80 的情况下 我们看到一些纱线节点管理器被标记为不健康 在深入研究日志后 我发现这是因为数据目录的磁盘空间已满 90 出现以下错误 2015 02 21 08 33 51 590 INFO org apach
  • 如何将SQL数据加载到Hortonworks中?

    我已在我的电脑中安装了 Hortonworks SandBox 还尝试使用 CSV 文件 并以表结构的方式获取它 这是可以的 Hive Hadoop nw 我想将当前的 SQL 数据库迁移到沙箱 MS SQL 2008 r2 中 我将如何做
  • HDFS:使用 Java / Scala API 移动多个文件

    我需要使用 Java Scala 程序移动 HDFS 中对应于给定正则表达式的多个文件 例如 我必须移动所有名称为 xml从文件夹a到文件夹b 使用 shell 命令我可以使用以下命令 bin hdfs dfs mv a xml b 我可以
  • 如何从hdfs读取文件[重复]

    这个问题在这里已经有答案了 我在 project1目录下的hadoop文件系统中有一个文本文件名mr txt 我需要编写 python 代码来读取文本文件的第一行 而不将 mr txt 文件下载到本地 但我无法从 hdfs 打开 mr tx

随机推荐

  • 防止 IFrame 导航

    我用一个iframe通过 JS 将 HTML 字符串写入其内容文档来显示 HTML 电子邮件内容 我不希望用户在其中导航iframe如果他点击显示的电子邮件中的链接 现在我有这些选择 在新的浏览器窗口或选项卡中打开链接 首选 阻止所有导航
  • 在 Angular 上运行 karma 测试时出现“Uncaught [object Object]”

    在为我的应用程序运行单元测试时 我正在与这个奇怪的错误作斗争 zone js 260 Uncaught object Object thrown Zone runTask zone js 260 ZoneTask invoke zone j
  • ASP/C# 后面的代码无法从标记获得控制

    Issue 我有这样的标记 只有重要的行 ul class teaserLinksUL ul 后台代码 namespace MainSolution CONTROLTEMPLATES Kunde public partial class R
  • 从 OpenGL 中的纹理采样为黑色

    我正在按照以下教程尝试图形处理http en wikibooks org wiki OpenGL Programming Modern OpenGL Tutorial 06 http en wikibooks org wiki OpenGL
  • 为什么 Chrome 浏览器无法识别我的 http2 服务器?

    我按照以下设置我的 Nginx 配置数字海洋纸 https www digitalocean com community tutorials how to set up nginx with http 2 support on ubuntu
  • 如何在java中使用AWS Textract检索pdf中存在的表

    我发现下面的文章是用 python 做的 https docs aws amazon com texttract latest dg examples export table csv html https docs aws amazon
  • 如何调试 WSO2 ESB 代码

    您通常如何调试 ESB 代码 我正在使用日志语句 但它们在系统日志中丢失了 有没有更好的机制可以使用 Thanks 您可以使用 ESB 代码从 IDE 进行远程调试 首先使用调试选项启动 ESB 服务器脚本 如下所示 wso2server
  • PHP:不区分大小写的参数

    我如何接受已通过GET or POST值不区分大小写 Like sample php OrderBy asc仍然会是一样的sample php orderby asc or sample php ORDERBY asc 有没有一种方法可以有
  • 在 Java 中构建分隔项字符串的最佳方法是什么?

    在使用 Java 应用程序时 我最近需要组装一个以逗号分隔的值列表以传递给另一个 Web 服务 而无需提前知道其中有多少元素 我能想到的最好的办法是这样的 public String appendWithDelimiter String o
  • Model.find Mongoose 6.012 始终返回所有文档,即使有过滤器

    我的架构示例 const XXXSchema new mongoose Schema name String 我使用猫鼬有一段时间了 最 近我开始遇到这些问题 以下查询按预期工作 await MyModel find id ObjectId
  • 是否有内置支持在 Azure 容器实例上启用 SSL?

    是否有内置支持在 Azure 容器实例上启用 SSL 如果没有 我们可以连接到像 Lets Encrypt 这样的 SSL 提供商吗 今天没有任何内置的东西 您需要将证书加载到容器中并在那里终止 SSL 很快 我们将启用对 ACI 容器加入
  • 使用 keyup 捕获 TAB 按键

    我需要实现 2 个目标 但我一次只实现一个目标 而不是同时实现两个目标 首先 我有一个输入字段 当按下按键时应该触发一个事件 并且我需要捕获字段值 我使用字母 数字和 TAB 键 因此 如果我使用 keyup 它会在第一个字符处触发 如果我
  • 打开 jquery.min.js 后 Eclipse 变得非常慢

    正如标题所说 每当我打开一个长压缩版本的任何 javascript 库 如 jquery 或 Foundation min js 时 我的 Eclipse 安装都会变得非常非常缓慢 有时重新启动后 事情会再次正常 直到我打开这些文件 有什么
  • tsc 编译使用文件扩展名导入的打字稿

    我以独立于生态系统的方式编写打字稿代码 我决定在导入中包含文件扩展名 以匹配 Web 和 Deno import xyz from foo ts 我怎样才能获得打字稿编译器 tsc 编译这些文件不会出现以下错误 error TS2691 A
  • 为什么 npm install 仅在 ElasticBeanstalk 中失败?

    我有一个 Nest js Node js 应用程序 我想将其部署在 ElasticBeanstalk Node 16 版本 AL2 5 5 0 上 我的部署一直失败 我发现错误在eb engine log 2022 03 23 15 11
  • “const int& jj”和“int& const jj”有什么区别?

    我对两者感到困惑 我知道 C 引用本质上是恒定的 一旦设置它们就不能更改为引用其他内容 const int 表示对 const 的引用int 相似地 int 表示对非常量的引用int int const字面意思是 const 引用 对非 c
  • Android:使用媒体播放器播放本地视频

    我正在尝试播放我在项目中保存的视频 我有下载this http camendesign co uk code video for everybody test html 一个 mp4 测试视频 然后在我的项目中创建了一个名为 vid 的文件
  • Cordova - 命令错误代码 1 |命令失败的时间为

    我是科尔多瓦的新手 所以如果我的问题不相关 请原谅我 我的 Windows 7 x64 机器中有一个 cordova 项目 昨天我通过构建我的科尔多瓦应用程序cordova build android release 但我需要添加新插件co
  • 创建直方图 OCaml

    我的任务是创建一个直方图 输出某个元素在列表中出现的次数 Input 2 2 2 3 4 4 1 Output 2 3 2 2 2 1 3 1 4 2 4 1 1 1 Expected output 2 3 3 1 4 2 1 1 My c
  • YARN 中应用程序管理器和应用程序主控之间的区别?

    我了解 MRv1 的工作原理 现在我试图了解 MRv2 YARN 中的应用程序管理器和应用程序主控之间有什么区别 应用程序主控和应用程序管理器这两个术语通常可以互换使用 实际上 Application Master 是请求 启动和监视应用程