Hive -- Hive的安装

1. 上传tar包，解压

tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/

2. 安装hadoop
   Hadoop的分布式搭建
   Hadoop的高可用HA搭建
3. 安装mysql
   MySQL的安装(YUM安装)
   MySQL的安装(tar.gz文件安装)
   MySQL的安装(RPM文件安装)
4. 配置hive-env.sh

mv apache-hive-1.2.1-bin/ hive

cd /opt/module/hive/conf

mv hive-env.sh.template hive-env.sh

vi hive-env.sh
## 修改下面的配置
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export HIVE_CONF_DIR=/opt/module/hive/conf

5. 配置hive-site.xml

vi hive-site.xml

  加入以下配置，修改mysql链接

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
	  <name>javax.jdo.option.ConnectionURL</name>
	  <value>jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true</value>
	  <description>JDBC connect string for a JDBC metastore</description>
	</property>

	<property>
	  <name>javax.jdo.option.ConnectionDriverName</name>
	  <value>com.mysql.jdbc.Driver</value>
	  <description>Driver class name for a JDBC metastore</description>
	</property>

	<property>
	  <name>javax.jdo.option.ConnectionUserName</name>
	  <value>root</value>
	  <description>username to use against metastore database</description>
	</property>

	<property>
	  <name>javax.jdo.option.ConnectionPassword</name>
	  <value>000000</value>
	  <description>password to use against metastore database</description>
	</property>
</configuration>

6. 拷贝mysql驱动

cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/
hdfs dfs -mkdir /tmp
hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -chmod g+w /tmp
hdfs dfs -chmod g+w /user/hive/warehouse

7. 启动hdfs，yarn

start-dfs.sh
start-yarn.sh

8. 使用hiveserver2和beeline

bin/hiveserver2

## -u 指定jdbc连接， -n指定用户名，防止权限相关
bin/beeline -u 'jdbc:hive2://localhost:10000/hive' -n bigdata

9. 常用的其他配置
   (1) 修改default数据仓库原始位置（将hive-default.xml.template如下配置信息拷贝到hive-site.xml文件中），并配置同组用户有执行权限

<property>
	<name>hive.metastore.warehouse.dir</name>
	<value>/user/hive/warehouse</value>
	<description>location of default database for the warehouse</description>
</property>

  (2) 查询后信息显示配置，在hive-site.xml文件中添加如下配置信息，就可以实现显示当前数据库，以及查询表的头信息配置

<property>
	<name>hive.cli.print.header</name>
	<value>true</value>
</property>

<property>
	<name>hive.cli.print.current.db</name>
	<value>true</value>
</property>

  (3) 运行日志信息配置，Hive的log默认存放在/tmp/bigdata/hive.log目录下（当前用户名下），修改hive的log存放日志到/opt/module/hive/logs

mv hive-log4j.properties.template hive-log4j.properties
## 修改hive-log4j
hive.log.dir=/opt/module/hive/logs

  (4) 调整任务申请资源大小，防止OutOfMemoryError: Java heap space。修改yarn-site.xml，添加如下配置：

<property>
	<name>yarn.scheduler.maximum-allocation-mb</name>
	<value>2048</value>
</property>
<property>
  	<name>yarn.scheduler.minimum-allocation-mb</name>
  	<value>2048</value>
</property>
<property>
	<name>yarn.nodemanager.vmem-pmem-ratio</name>
	<value>2.1</value>
</property>
<property>
	<name>mapred.child.java.opts</name>
	<value>-Xmx1024m</value>
</property>