YARN:容器和 JVM

2023-12-28

有人可以帮助我理解 JVM 和 YARN 中容器之间的关系吗?

  • JVM 是如何创建的,每个任务都有一个 JVM 吗?同一个JVM中可以同时运行多个任务吗? (我知道 ubertasking,其中许多任务(maps/reduce)可以在同一个 JVM 中一个接一个地运行)。
  • 每个容器都有一个 JVM 吗?或者单个 JVM 中的多个容器?或者说JVM和容器之间没有关系?
  • 当资源管理器为作业分配容器时,同一作业内的多个任务是否对同一节点中运行的任务使用相同的容器?或者根据可用性为每个任务单独的容器?

指向一些有用链接的指针也会有所帮助。


每个容器都有一个 JVM 吗?或者单个 JVM 中的多个容器?或者说JVM和容器之间没有关系?

当然存在一种关系,而且是一对一的。对于每个需要创建的容器,都会生成一个新的 java 进程(JVM)。

现在,如果您没有在超级模式下运行,请考虑以下内容:-

JVM 是如何创建的,每个任务都有一个 JVM 吗?同一个JVM中可以同时运行多个任务吗? (我知道 ubertasking,其中许多任务(maps/reduce)可以在同一个 JVM 中一个接一个地运行)。

您看,任务被安排在集群中的某个节点上运行。根据任务的需求(内存和CPU),确定容器的容量。此外,还有一些特定的参数,您可以在下面的链接中找到。
每个任务尝试都在 JVM 上进行安排。

当资源管理器为作业分配容器时,同一作业内的多个任务是否对同一节点中运行的任务使用相同的容器?或者根据可用性为每个任务单独的容器?

根据集群中的资源可用性为每个任务生成单独的容器。

这里有一些非常有帮助的链接 -
http://ercoppa.github.io/HadoopInternals/AnatomyMapReduceJob.html http://ercoppa.github.io/HadoopInternals/AnatomyMapReduceJob.html
https://blog.cloudera.com/blog/2015/09/untangling-apache-hadoop-yarn-part-1/ https://blog.cloudera.com/blog/2015/09/untangling-apache-hadoop-yarn-part-1/
http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/ http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

YARN:容器和 JVM 的相关文章

随机推荐