hive执行任务MR时卡死/假死
程序员文章站
2022-03-08 08:55:51
...
出现该问题的设备:
在云服务器上搭建hadoop集群,服务器为一核,2g内存。
普通游戏本 运行虚拟机搭建hadoop集群。
问题表述:
安装好jdk,hadoop,hive。在eclipse可以正常执行mapreduce任务,在hive上也可以至执行无MR任务的语句(like:select * from test)
,但是在hive上执行有MR任务的语句(like:select * from test order by id),程序卡死,卡死,卡死。
长达几十分钟卡死,最终程序被强制kill。
问题原因:
专业名词没有。
可能与内核数量和运行内存有关
解决办法:
修改hadoop/etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.job.tracker</name>
<value>hdfs://master:8001</value>
<final>true</final>
</property>
</configuration>