Hive的安装部署
程序员文章站
2022-07-06 16:14:37
...
Hive的安装部署
hive1.2.1
Hive常用的安装分三种(注意:Hive会自动监测Hadoop的环境变量,如有就必须启动Hadoop)
本地模式(多用户模式):
使用hive自带默认元数据库derby来进行存储,通常用于测试
优点:使用简单,不用进行配置
缺点:只支持单session。
安装步骤:
1、解压hive,并配置环境变量
vi /etc/profile
source /etc/profile
2、配置hive-env.sh
export JAVA_HOME=
3、启动hive:bin/hive
1.1.2版本有依赖冲突:jline版本冲突,1.2.1之后版本无此冲突
/usr/local/hive-1.2.1/lib和/usr/local/hadoop-2.6.4/share/hadoop/yarn/lib中都包含jline的jar包,导致版本冲突
解决方案:
1、cp /usr/local/hive-1.2.1/lib/jline-2.12.jar /usr/local/hadoop-2.6.4/share/hadoop/yarn/lib/
2、rm -rf jline-0.9.94.jar
特点:元数据库文件会在启动hive命令的目录下生成。(在不同目录下测试启动;在相同目录下多次启动hive)
##配置Hive的远程模式
###远程模式(将元数据库放在该台机器上)(多用户模式)
通常使用关系型数据库来进行元数据存储(mysql、oracle等执行带jdbc驱动的数据库)
优点:支持多session
缺点:需要配置、还需要安装mysql等关系型数据库
步骤:
1、解压并配置环境变量
2、配置hive的配置文件
cp hive-env.sh.template hive-env.sh
vi hive-env.sh(可以配置jdk、hive的conf路径)
3、配置hive的自定义配置文件
vi hive-site.xml
<configuration>
<!--配置mysql的连接字符串-->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<!--配置mysql的连接驱动-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<!--配置登录mysql的用户-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<!--配置登录mysql的密码-->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</description>
</property>
</configuration>
注意:hive的元数据在mysql库里创建的数据库hive的编码最好设置成latin1.
4、将mysql的驱动包上传到$HIVE_HOME/lib下
5、启动hive
远程模式(将元数据库放在其他机器上)(多用户模式)
和1差不多,只是将元数据放在别的服务器上,这种的就是咱们常说的集群模式。
可以有一个hive的server和多个hive的client。
上一篇: ClickHouse单机+集群部署。
下一篇: Hive安装部署
推荐阅读
-
Python爬虫辅助利器PyQuery模块的安装使用攻略
-
关于Adobe Acrobat XI Pro 安装注册激活破解的教程介绍
-
重装MS SQL Server 2000前必须彻底删除原安装文件的方法
-
比较详细的完美解决安装sql2000时出现以前的某个程序安装已在安装计算机上创建挂起的文件操作。 原创
-
Windows上安装Python第三方库pycairo的解决办法
-
mac环境下Python虚拟环境的安装和配置
-
php Xdebug的安装与使用详解
-
flutter的环境安装配置问题及解决方法
-
解决安装QQ时提示无法访问Windows Installer服务的问题
-
实时监测vue的data数据变动之devtools安装