欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Hive 将MR替换Tez

程序员文章站 2022-03-08 08:37:31
...

下载Tez:http://tez.apache.org/

Hive 将MR替换Tez

上下到Linux系统指定的目录,并解压到相应的目录下

Hive 将MR替换Tez

上传到HDFS 指定的目录上:

Hive 将MR替换Tez
Hive 将MR替换Tez

解压:

Hive 将MR替换Tez

拷贝 tez-default-template.xml 到 hadoop 的etc/hadoop 下,并改名为tez-site.xml

Hive 将MR替换Tez
Hive 将MR替换Tez

配置如下信息: Hive 将MR替换Tez



<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
     
     <name>tez.lib.uris</name>
     <value>${fs.defaultFS}/tez-0.9.2/apache-tez-0.9.2-bin.tar.gz</value>
  </property>
  <property>
 
     <name>tez.use.cluster.hadoop-libs</name>
     <value>true</value>
  </property>
  <property>
     <name>tez.history.logging.service.class</name>
     <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
  </property>
</configuration>

yarn-site.xml 添加如下信息

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

修改 mapred-site.xml

<property>
   <name>mapreduce.framework.name</name>
   <value>yarn-tez</value>
</property>

将修改的所有文件同步到三台虚拟机上

重启hadoop ,hive

启动hive后 执行:

set hive.execution.engine=tez;

相关标签: hive