欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

7_Linux下Hive安装及配置(Hive连接Windows下的MySQL)

程序员文章站 2022-04-29 17:46:14
...

Hive

数据仓库(数据中间件):
帮助进行数据的管理及分析底层数据存储依托于hdfs文件系统,
能够使用类似sql的语句直接对hdfs文件系统中的数据操作;

sql—>mapreduce—>submit—>yarn
1、翻译:把sql翻译成语法数结构(sql翻译成mapreduce程序,xxx.java);
2、编译:把语法树结构转换成逻辑执行计划(将xxx.java编译成xxx.class文件,并将xxx.class打成jar包);
3、优化:将逻辑执行计划进行优化;
4、执行:提交逻辑执行计划给yarn集群执行;

安装Hive

hadoop的主节点 hdfs集群启动用户下
hive安装的时候使用derby作为元数据存储,不需要修改配置文件

  • 1、解压
tar -xvf apache-hive-2.3.5-bin.tar -C softwares/
  • 2、构建软连接
ln -s apache-hive-2.3.5-bin/ hive
  • 3、配置环境变量
vi ~/.bashrc
	###__HIVE_CONF__###
	export HIVE_HOME=/home/briup/softwares/hive
	export PATH=$PATH:$HIVE_HOME/bin
source ~/.bashrc
  • 4、初始化hive(以下两种方法任选一种,还可以直接在linux虚拟机里安装一个mysql数据库)

A、初始化元数据库

schematool -dbType derby -initSchema

注意:
初始化在哪个目录完成,将来hive只能在初始化完成的目录操作。

B、Hive连接Windows上的MySQL

  1. 关闭Windows的防火墙
  2. 启动MYSQL服务(此电脑—>管理—>服务—>启动MYSQL服务)
  3. 修改windows下mysql的访问权限,使用mysql -uroot -h -p(root的密码)的状态下登录,然后进行修改。
grant all privileges on *.* to 'root'@'%' identified by 'root的密码';//允许任何IP访问
flush privileges;//刷新授权
  1. 查看
select host,user,password from user;

7_Linux下Hive安装及配置(Hive连接Windows下的MySQL)

  1. 修改hive-site.xml配置文件,指定要连接的mysql地址(图中标记的地方根据自身情况进行修改)
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://192.168.43.129:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=true</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>0409</value>
	</property>
</configuration>

7_Linux下Hive安装及配置(Hive连接Windows下的MySQL)

  1. Linux中添加msyql的驱动包到hive/lib下

  2. 初始化元数据库

schematool -dbType mysql -initSchema