欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

在Hadoop中ResourceManager是干什么的?

程序员文章站 2024-01-27 10:00:28
【学习笔记】 1)ResourceManager:马克-to-win @ 马克java社区:防盗版实名手机尾号:73203。当应用程序对集群资源需求时,ResourceManager是Yarn集群主控节点,负责协调和管理整个集群(所有NodeManager)的资源。 2)NodeManager:马克 ......

【学习笔记】

1)resourcemanager:马克-to-win @ 马克java社区:防盗版实名手机尾号:73203。当应用程序对集群资源需求时,resourcemanager是yarn集群主控节点,负责协调和管理整个集群(所有nodemanager)的资源。

2)nodemanager:马克-to-win @ 马克java社区:nodemanager管理一个yarn集群中的每一个节点。比如监视资源使用情况( cpu,内存,硬盘,网络),跟踪节点健康等。

3)applicationmaster:马克-to-win @ 马克java社区:想了解applicationmaster,我们需要了解一下它工作的过程。 用户向yarn集群提交应用程序时:(包含applicationmaster程序,applicationmaster启动命令,用户自己的程序)后,applicationmaster向资源调度器申请执行任务的资源容器container,运行用户自己的程序任务job(我们可以用浏览器看yarn里的job进展),监控整个任务的执行,跟踪整个任务的状态,处理任务失败以异常情况。

4)container:马克-to-win @ 马克java社区:前面我们总提资源分配。而资源分配的体现就要用到一个抽象概念“容器”(container)表示,container将内存、cpu、磁盘、网络等资源封装在一起,这样可以起到限定资源边界的作用。比如给你一个container的资源,里面包含3个g的内存,1g硬盘。当销毁你的container时,连带的内存,硬盘都没有了。

 

 

文章转载自: