程序员经验分享-hwhale

YARN的工作机制

2023-10-27

<1>主要作用：强化控制和使用资源管理功能。

<2>工作机制：1.MapReduce提交到客户端所在节点

2.客户端向资源管理器提交申请，在将应用程序返回给客户端，将运行资源提交到HDFS上，提交完毕后申请运行。

3.RM将用户的请求转换为任务，其中的一个名称节点领取到任务，这个名称节点建立容器。产生MRAppmaster

4.容器从HDFS上复制资源.

5.RM将任务平均分配给其他节点，并创建容器，MR在发送程序，继续进行。

6.将所有任务运行完毕运行ReduceTask，获取相应的数据，程序运行完成后结束

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

大数据导论

yarn

MapReduce

大数据

YARN的工作机制 的相关文章

随机推荐

  • win10系统定时自动切换深色模式

    引言 深色模式大家一定不陌生了 之前微信也推出了深色模式 全黑的皮肤可谓非常养眼了 让我们在黑夜里看手机或电脑不再闪瞎双眼 那么作为经常在黑夜里孜孜不倦学习工作的技术党们 如何将电脑设置为深色模式呢 正文 一 手动开启 1 打开window

  • 不懂就问--Java基本数据类型与数组（定义了int型二维数组a[6][7]后,数组元素a[3][4]前的数组元素个数）案例分析

    首先要知道java中的数组是线性排列的 其次要知道数组的初始标度为0 例如定义了一个二维数组 a 1 2 则数组详细为 0 0 0 1 0 2 1 0 1 1 1 2 共6个数组元素 所以可知 1 是为行 共两行 因为是从0开始数起 2 是

  • 数据库操作语言：DML（data management lauguage）

    一 DML操作语言 DML 对表中的数据进行操作的语言 关键字 insert update delete select 假设我们使用创建表的语句创建了一个student表 然后对该表进行操作 create table classroom c

  • 【MySQL】8.0 存储引擎

    存储引擎 MySQL体系结构 1 连接层 最上层是一些客户端和链接服务 包含本地sock 通信和大多数基于客户端 服务端工具实现的类似于TCP IP的通信 主要完成一些类似于连接处理 授权认证 及相关的安全方案 在该层上引入了线程池的概念

  • 测试用例如何编写？史上最全接口测试-用例编写设计总结（测试点）

    目录 导读 前言 一 Python编程入门到精通 二 接口自动化项目实战 三 Web自动化项目实战 四 App自动化项目实战 五 一线大厂简历 六 测试开发DevOps体系 七 常用自动化测试工具 八 JMeter性能测试 九 总结 尾部小

  • wireshark通常无法抓取交换机所有端口报文

    Wireshark 是一种网络分析工具 它通常在计算机的网络接口上进行数据包捕获和分析 然而 Wireshark 默认情况下无法直接捕获交换机所有端口的报文 交换机是一种网络设备 它在局域网内转发数据包 根据目的MAC地址将数据包仅发送到目

  • 使用宏定义判断编译器类型、版本、操作系统

    使用宏定义如下 GCC编译器 ifdef GNUC if GNUC gt 3 GCC3 0以上 MSVC编译器 ifdef MSC VER if MSC VER gt 1000 VC 4 0以上 if MSC VER gt 1100 VC

  • z-index最大值，最小值，在不同浏览器的取值

    z index最大值 IE FireFox Safari的z index最大值是2147483647 Opera的最大值是2147483584 IE Safari Opera在超过其最大值时按最大值处理 FireFox 在超过最大值时会数据

  • unity3d 游戏对象消失三种方法的区别（enabled／Destroy／active）

    gameObject renderer enabled 是控制一个物体是否在屏幕上渲染或显示 而物体实际还是存在的 只是想当于隐身 而物体本身的碰撞体还依然存在的 GameObject Destroy 表示移除物体或物体上的组件 代表销毁该

  • AOP拦截记录日志

    首先对于AOP切面编程 我也是刚学习 了解不深 这边先引用老张的博客 方便大家学习 首先想一想 如果有这么一个需求 要记录整个项目的接口和调用情况 当然如果只是控制器的话 还是挺简单的 直接用一个过滤器或者一个中间件 还记得咱们开发Swag

  • linux 服务器间通信,Linux 下的进程间通信：套接字和信号

    原标题 Linux 下的进程间通信 套接字和信号 Linux 中国 学习在 Linux 中进程是如何与其他进程进行同步的 Marty Kalin 本篇是 Linux 下 IPC 系列的第三篇同时也是最后一篇文章 聚焦在通过共享存储 文件和共

  • Unity 3D实现血量增加减少

    首先先看一下效果图 这里呢我是通过按钮点击增减血量 当真正的开发游戏的时候 就是通过个各种药水来对AI进行血量的增加减少 场景塔搭建就比较简单了 就是一个NGUI 放置一张图片 HUDText ht UISprite sprite bool

  • xpath无法定位tbody

    原因是需要定位的tbody标签是浏览器加上去的 html中的tbody标签是不需要一定要写的 链接直接请求到的html是没有需要定位的tbody标签的 所以删掉xpath中的tbody标签就可以了 华东师范大学招生办 高考分数查询https

  • CNN卷积神经网络实现-人脸性别识别模型-可视化各层卷积特征

    本文主要是实现了根据人脸识别性别的卷积神经网络 并对卷积过程中的提取特征进行了可视化 Github地址 https github com chenlinzho 卷积神经网络 卷积神经网络最早是为了解决图像识别的问题 现在也用在时间序列数据和

  • Java踩坑笔记 —— base64转换为图片后图片显示不全

    Java踩坑笔记 base64转换为图片后图片显示不全 前言 解决思路 案例代码 结束语 前言 最近在开发项目中 发现base64转换图片时 出现了图片显示不全 例如如下这样 可以明显看到图片部分地区被遮挡 解决思路 显示图片有误的情况下

  • Apache Superset 漏洞导致服务器易遭RCE攻击

    聚焦源代码安全 网罗国内外最新资讯 编译 代码卫士 Apache Superset 修复了两个漏洞 本可导致攻击者在受影响系统上获得远程代码执行权限 Apache Superset 更新版本 2 1 1 修复了两个漏洞CVE 2023 39

  • Makefile 函数 -if

    if 函数 if 函数的语法是 if

  • Python网络爬虫入门篇

    1 Python爬虫基本流程 a 发送请求 使用http库向目标站点发起请求 即发送一个Request Request包含 请求头 请求体等 Request模块缺陷 不能执行JS 和CSS 代码 b 获取响应内容 如果requests的内容

  • 为OpenWrt添加service，自启动问题

    记得去年 写过一个程序 是运行在OpenWrt上的 想让程序开机自启动 最后费了9牛二虎之力 模仿别人的总算写出来了 但是一直没有明白为什么要这样 刚刚看open的官网 一下子恍然大悟 网址如 http wiki openwrt org d

  • YARN的工作机制

    lt 1 gt 主要作用 强化控制和使用资源管理功能 lt 2 gt 工作机制 1 MapReduce提交到客户端所在节点 2 客户端向资源管理器提交申请 在将应用程序返回给客户端 将运行资源提交到HDFS上 提交完毕后申请运行 3 RM将

热门标签