hadoop配置中的一些问题总结

hadoop配置中的一些问题总结。

在hadoop2.7中mapred-site.xml.template 可不修改为mapred-site.xml

DataNode未启动

主要原因是因为在重新格式化namenode时上次的临时文件还保留导致版本号不一样，建议重新比较主节点与各个子节点中的hadoop/tmp/dfs/data/current/VERSION中clusterID、datanodeUuid是否一致，不一致修改成一致；或者直接将tmp临时文件删除，重新格式化namenode

hadoop中nodemanager未启动

在正常启动hadoop的时候系统没有报错，但是jps查看进程的时候发现缺少了nodemanager，查看后台的日志进程···

问题：发现如下错误：FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager org.apache.hadoop.yarn.exceptions.YarnRuntimeException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeManager?

from? hadoop22 doesn't satisfy minimum allocations, Sending SHUTDOWN signal to theNodeManager.其实就是yarn-site.xml配置有点问题。nodemanager要求的内存最低1024MB

解决方法：更改yarn-site.xml的配置文件（如下）

? ?
? ? ? ? yarn.nodemanager.resource.memory-mb
? ? ? ? 1024
? ?
? ?
? ? ? ? yarn.nodemanager.resource.cpu-vcores
? ? ? ? 1
? ?

注解：

yarn.nodemanager.resource.memory-mb

表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。

yarn.nodemanager.resource.cpu-vcores

表示该节点上YARN可使用的虚拟CPU个数，默认是8，注意，目前推荐将该值设值为与物理CPU核数数目相同。如果你的节点CPU核数不够8个，则需要调减小这个值，而YARN不会智能的探测节点的物理CPU总数。