将Hive的执行引擎更换为Tez

程序员文章站 2022-04-29 08:53:22

...

1.1 集群环境

CentOS7.x
JDK1.8
hadoop2.7.2
hive2.3.7
tez-0.9.2
hiveserver2,metastore和tez都安装在hadoop102上

1.2 操作步骤

1.2.1 下载并解压Tez安装包

下载地址

https://mirrors.bfsu.edu.cn/apache/tez/0.9.2/

解压

#HiveServer2在哪个节点就解压到哪个节点
[aaa@qq.com software]$ tar -zvxf apache-tez-0.9.2-bin.tar.gz -C /opt/module/
#对安装目录进行重命名(可选)
[aaa@qq.com module]$ mv apache-tez-0.9.2-bin/ tez-0.9.2/

1.2.2 将tez安装包上传到hdfs

为了使集群中的各个节点都能够使用Tez引擎进行计算,将下载好的tez安装包上次至HDFS

在HDFS创建/tez目录(目录自己任意指定)

[aaa@qq.com software]$ hdfs dfs -mkdir /tez

上传tez二进制包到HDFS

[aaa@qq.com software]$ hdfs dfs -put ./apache-tez-0.9.2-bin.tar.gz /tez

1.2.3 修改配置文件

进入$HIVE_HOME/conf目录,在该目录下创建一个tez-site.xml文件,并添加如下内容:

[aaa@qq.com conf]$ vim  tez-site.xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
     <!--指定要读取的tez的jar包地址 -->
     <name>tez.lib.uris</name>
     <value>${fs.defaultFS}/tez/apache-tez-0.9.2-bin.tar.gz</value>
  </property>
  <property>
     <!-- tez可使用集群的jar包 -->
     <name>tez.use.cluster.hadoop-libs</name>
     <value>true</value>
  </property>
  <property>
     <name>tez.history.logging.service.class</name>
     <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
  </property>
</configuration>

在hive-env.sh配置文件的最后增加下面内容

[aaa@qq.com conf]$ vim hive-env.sh 
#自己的tez的解压目录
export TEZ_HOME=/opt/module/tez-0.9.2 
export TEZ_JARS=""
for jar in `ls $TEZ_HOME |grep jar`; do
export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; do
export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
done
export TEZ_JARS=${TEZ_JARS:1}
export HIVE_AUX_JARS_PATH=$TEZ_JARS

在hive-site.xml文件中修改hive的默认计算引擎为tez(也可在查询时通过参数hive.execution.engine指定)

[aaa@qq.com conf]$ vim hive-site.xml
<property>
    <name>hive.execution.engine</name>
    <value>tez</value>
</property>

关闭虚拟内存检查(或调大虚拟内存比例)
在yarn-site.xml文件中加入如下配置:

[aaa@qq.com hadoop]$ vim yarn-site.xml
<!--关闭虚拟内存检查-->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

将修改过的yarn-site.xml文件分发到其它节点

#rsync-script是自己写的集群文件同步脚本
[aaa@qq.com hadoop]$ rsync-script ./yarn-site.xml

重启yarn(在RM所在节点使用群起/停脚本)

[aaa@qq.com hadoop-2.7.2]$ sbin/stop-yarn.sh
[aaa@qq.com hadoop-2.7.2]$ sbin/start-yarn.sh

1.2.4 测试tez

# 1.启动hive
[aaa@qq.com ~]$ hive
# 2.创建一张测试表
hive (default)> create table ods_user(id int,name string);
# 3.往测试表插入数据
insert into ods_user values(1,"xiaoming");
# 4.验证数据是否插入成功
hive (default)> select * from ods_user;

插入数据时,出现下面的执行界面,说明使用的是tez引擎:
将Hive的执行引擎更换为Tez