Hive 将MR替换Tez
程序员文章站
2022-03-08 08:37:31
...
下载Tez:http://tez.apache.org/
上下到Linux系统指定的目录,并解压到相应的目录下
上传到HDFS 指定的目录上:
解压:
拷贝 tez-default-template.xml 到 hadoop 的etc/hadoop 下,并改名为tez-site.xml
配置如下信息:
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>tez.lib.uris</name>
<value>${fs.defaultFS}/tez-0.9.2/apache-tez-0.9.2-bin.tar.gz</value>
</property>
<property>
<name>tez.use.cluster.hadoop-libs</name>
<value>true</value>
</property>
<property>
<name>tez.history.logging.service.class</name>
<value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
</property>
</configuration>
yarn-site.xml 添加如下信息
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
修改 mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn-tez</value>
</property>
将修改的所有文件同步到三台虚拟机上
重启hadoop ,hive
启动hive后 执行:
set hive.execution.engine=tez;
上一篇: sparksql\hive on spark\hive on mr
下一篇: mr 问题