NodeManager概述(基本职能和内部架构)

概述

nodemanager是运行在单个节点上的代理,它需要与应用程序的的applicationmaster和集群管理者resourcemanager交互: 从applicationmaster上接收有关container的命令并执行之(比如启动,停止container); 向resourcemanager汇报各个container运行状态和节点健康状况,并领取有关container的命令(比如清理container)执行之

nodemanager是yarn中单个节点上的代理,它管理hadoop集群中单个计算节点,功能包括与resourcemanager保持通信,管理container的生命周期,监控每个container的资源使用(内存,cpu等)情况,追踪节点健康状况,管理日志和不同应用程序用到的附属服务

nodemanager基本职能

nodemanager需通过两个rpc协议与resourcemanager服务和各个应用程序的applicationmaster交互

resourcetrackerprotocol协议

nodemanager通过该rpc协议向resourcemanager注册,汇报节点健康状况和container运行状态,并领取resourcemanager下达的命令,包括重新初始化,清理container占用资源等.在该rpc协议中,resourcemanager扮演rpc server的角色,而nodemanager扮演rpc client的角色

resourcetrackerprotocol协议主要提供了以下两个rpc函数

(1) registernodemanager

nodemanager启动时通过该rpc函数向resourcemanager注册,注册信息由registernodemanagerrequest封装的,包括如下三部分内容 :

• httpport : 该nodemanager对外提供的http端口号,resourcemanager会在界面上提供一个可直接访问nodemanager web界面的超链接
• nodeid : 该nodemanager所在的host和对外的rpc端口号
• totalresource : 该nodemanager所在节点总的可分配资源,当前支持内存和虚拟cpu两种资源,管理员可通过参数yarn.nodemanager.resource.cpu-vcores和yarn.nodemanager.resource.memory-mb配置

resourcemanager将通过registernodemanager函数向nodemanager返回一个registernodemanagerresponse类型的对象,主要包含以下信息 :

• masterkey : 新生成的container token和node token的master key
• nodeaction : resourcemanager向该nodemanager返回的下一步操作,主要包括normal,resync,shutdown三种,分别表示正常,重新同步信息和停止运行
• rmidentifier : resourcemanager的标示符,nodemanager通过该标识符判断applicationmaster发送的container来自原始的还是新启动的resourcemanager
• diagnosticsmessage : nodemanager注册失败时,将收到一段诊断信息,告知具体的失败原因

(2) nodeheartbeat

nodemanager启动后,定期通过该rpc函数向resourcemanager汇报container运行信息和节点健康状况,并领取新的命令,比如杀死一个container

containermanagementprotocol协议

应用程序的applicationmaster通过该rpc协议向nodemanager发起针对container的相关操作,包括启动container,杀死container,获取container

containermanagementprotocol协议主要提供了以下三个rpc函数 :

• startcontainer : applicationmaster通过该rpc要求nodemanager启动一个contaienr.该函数有一个startcontainerrequest类型的参数,封装了container启动所需的本地资源,环境变量,执行命令,token等信息.如果container启动成功,则该函数返回一个startcontainerresponse对象
• stopcontainer : applicationmaster通过该rpc要求nodemanager停止(杀死)一个container.该函数有一个stopcontainerrequest类型的参数,用于指定待杀死的container id.如果container被成功杀死,则该函数返回一个stopcontainerresponse对象
• getcontainerstatus : applicationmaster通过该rpc获取一个container的运行状态.该函数参数类型为getcontainerstatusrequest,封装了目标container的id,返回值为封装了container当前运行状态的类型为getcontainerstatusresponse的对象

nodemanager内部架构

nodemanager内部组织结构和主要模块

• nodestatusupdater : nodestatusupdater是nodemanager与resourcemanager通信的唯一通道
• containermanager : containermanager是nodemanager中最核心组件之一,它由多个子组件构成,每个子组件负责一部分功能,协作共同管理运行在该节点上的所有container.各个子组件如下
  • rpc server : 该rpc server实现了containermanagementprotocol协议,是applicationmaster与nodemanager通信的唯一通道
  • resourcelocalizationservice : 负责container所需资源的本地化.它能够按照描述从hdfs上下载container所需的文件资源,并尽量将它们分摊到各个磁盘上以防止出现访问热点.此外,它会为下载的文件添加访问控制限制,并为之施加合适的磁盘空间使用份额
  • containerslauncher : 维护了一个线程池以并行完成container相关操作,比如启动或者杀死container,其中启动container请求是由applicationmaster发起的,而杀死container请求则可能来自applicationmaster或者resourcemanager
  • auxservices : nodemanager允许用户通过配置附属服务的方式扩展自己的功能,这使得每个节点可以定制一些特定框架需要的服务
  • containersmonitor : containersmonitor负责监控container的资源使用量
  • loghandler : 一个可插拔组件,用户可通过它控制container日志的保存方式,即是写到本地磁盘上还是将其打包后上传到一个文件系统中
  • containereventdispatcher : container事件调度器,负责将containerevent类型的事件调度给对应application的状态机applicationimpl
  • applicationeventdispatcher : application事件调度器,负责将applicationevent类型的事件调度给对应application的状态机applicationimpl
• containerexecutor : containerexecutor可与底层操作系统交互,安全存放container需要的文件和目录,进而以一种安全的方式启动和清除container对应的进程
• nodehealthcheckerservice : nodehealthcheckerservice通过周期性地运行一个自定义脚本和向磁盘写文件检查节点的健康状况,并将之通过nodestatusupdater传递给resourcemanager
• deletionservice : nodemanager将文件删除功能服务化,即提供一个专门的文件删除服务异步删除失效文件,这样可避免同步删除文件带来的性能开销
• security : 安全模块是nodemanager中的一个重要模块,包含两部分
  • applicationaclsmanager : nodemanager需要为所有面向用户的api提供安全检查,如在web ui上只能将container日志显示给授权用户.该组件为每个应用程序维护了一个acl列表,一旦收到类似请求后会利用该列表对其进行验证
  • containertokensecretmanager : 检查收到的各种访问请求的合法性,确保这些请求操作已被resourcemanager授权
• webserver : 通过web界面向用户展示该节点上所有应用程序运行状态,container列表,节点健康状态和container产生的日志等信息

我每天会写文章记录学习之路,另外我自己整理了些学习资料,目前全部放在我的公众号"smallbird技术分享",加入我们一起学习交流,并且回复’分享’会有各种技术资源惊喜等着你~