欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

hive执行任务MR时卡死/假死

程序员文章站 2022-03-08 08:55:51
...

出现该问题的设备:

在云服务器上搭建hadoop集群,服务器为一核,2g内存。
普通游戏本 运行虚拟机搭建hadoop集群。

问题表述:

安装好jdk,hadoop,hive。在eclipse可以正常执行mapreduce任务,在hive上也可以至执行无MR任务的语句(like:select * from test)
,但是在hive上执行有MR任务的语句(like:select * from test order by id),程序卡死,卡死,卡死。
长达几十分钟卡死,最终程序被强制kill。

hive执行任务MR时卡死/假死

问题原因:

专业名词没有。
可能与内核数量和运行内存有关

解决办法:

修改hadoop/etc/hadoop/mapred-site.xml



<configuration>
<property>
<name>mapreduce.job.tracker</name>
<value>hdfs://master:8001</value>
<final>true</final>
</property>
</configuration>