欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Hadoop运行wordcount实例任务卡在job running的多种情况及解决方法

程序员文章站 2022-07-05 18:16:54
...

第一种:配置问题

Hadoop运行wordcount实例任务卡在job running的多种情况及解决方法
这是别人的图片,据楼主排查解决是因为hosts配置问题???我想知道hosts没配置好,Hadoop是怎么撑到MR的…
现象:各种无法运行、启动
解决办法:
1、修改日志级别
export HADOOP_ROOT_LOGGER=DEBUG,console
查看下详细信息,定位到具体问题解决

第二种:服务器问题

Hadoop运行wordcount实例任务卡在job running的多种情况及解决方法
**现象:**运行到job时卡住不动
**原因:**服务器配置低下,内存小或磁盘小
**解决办法:**修改yarn.site.xml配置

<!--每个磁盘的磁盘利用率百分比-->
<property>
    <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
    <value>95.0</value>
 </property>
 <!--集群内存-->
 <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
</property>
 <!--调度程序最小值-分配-->
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
</property>
 <!--比率,具体是啥比率还没查...-->
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

除了服务器集群配置低,也有可能是服务器被攻击或恶意程序占用内存Hadoop的MapReduce进程卡住job/云服务器被矿工挖矿

戏剧的是,我今天还遇到一种情况…现象也是Map后卡在Job,原因是:我运行了计算圆周率程序,刚开始测试没问题后手贱执行1000次,掷10000次…Map过程还好,Job开始便无法运行…
Hadoop运行wordcount实例任务卡在job running的多种情况及解决方法
一看到false和FAILED的时候我还沉浸在跑通的余味当中…我猜想可能是太大了,所以重新换小的执行,

hadoop jar ./hadoop-mapreduce-examples-2.7.3.jar pi 20 20

结果还是卡着了…我当时就慌了…赶紧排查日志,面向百度编程,结果还是不行,但是我仔细一看,JobID为啥每次都是一样的?难道是还是卡在最开始的任务?我删除日志,重新启动Hadoop集群,又可以快乐运行了…