大数据-hadoop-MapReduce计算流程

• mapreduce计算流程

　　1  首先是通过程序员所编写的mr程序通过命令行本地提交或者ide远程提交

　　2 一个mr程序就是一个job，job信息会给resourcemanger，向resourcemanger注册信息

• 3  在注册通过后，job会拷贝相关的资源信息（从hdfs中）

  4 紧接着会向resourcemanger提交完整的job信息（包括资源信息）

  5a  resourcemanger 会通过提交的job信息，计算出job所需的资源，为job分配container资源

  5b 计算资源会分发给对应的nodemanger，nodemanager会创建一个mrappmaster

  6  mrappmaster初始化job

  7 获取输入切片信息

  8 mrappmaster向resourcemanager 请求资源

  9a 启动计算资源（连接到对应的资源所在nodemanager）

  9b 启动yarn child

  10 从文件系统中获取完整的job信息

  11 启动对应的maptask或者reducetask 进程，执行计算。