我了解 MRv1 的工作原理。现在我试图了解 MRv2.. YARN 中的应用程序管理器和应用程序主控之间有什么区别?
应用程序主控和应用程序管理器这两个术语通常可以互换使用。实际上,Application Master 是请求、启动和监视应用程序特定资源的主要容器,而 Application Manager 是 ResourceManager 内部的一个组件。下面给出了有关应用程序管理器的更多详细信息。
ApplicationsManager 负责维护已提交的集合
应用程序。提交申请后,首先验证申请的
规范并拒绝任何为其请求无法满足的资源的应用程序
ApplicationMaster(即集群中没有节点有足够的资源来
运行 ApplicationMaster 本身)。然后它确保没有其他应用程序已经存在
使用相同的应用程序 ID 提交 — 这种情况可能是由于错误的
或恶意客户端。最后,它将接受的申请转发给调度程序。
该组件还负责记录和管理已完成的应用程序
在它们完全从资源管理器中撤离之前一段时间
记忆。当应用程序完成时,它会将 ApplicationSummary 放置在守护程序的
日志档案。
最后,ApplicationsManager 会在很久之后保留已完成应用程序的缓存。
应用程序完成支持用户对应用程序数据的请求(通过Web UI或命令
线)。配置属性yarn.resourcemanager.max-completed-applications
控制 ResourceManager 所完成的应用程序的最大数量
任何时候都会记得。缓存是先进先出列表,最旧的应用程序
被搬出以适应新完成的应用程序。
参考:Hadoop YARN 书籍 http://yarn-book.com/
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)