【hadoop】hive的安装
一、hive安装----原生的数据库(可以简单的练手)
-
上传安装包
用xshell上传安装包 -
解压软件包
[aaa@qq.com softwares]# tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /export/servers/
指定安装到目录 /export/servers/目录下查看一下:
-
进入hive这个目录,修改配置文件
修改hive-default.xml.templates–>直接复制一份叫hive-env.sh
[aaa@qq.com conf]# cp hive-env.sh.template hive-env.shVim hive-env.sh编辑
修改这一项,把注释#去掉,然后加上hadoop的绝对路径
/export/servers/hadoop-2.6.0-cdh5.14.0(绝对路径–>pwd)
然后保存退出 -
用原生的hive的derby存放元数据–>不配置hive-site.xml
也可以简单的调试下hive,创建一个数据库 -
查看
可以去node01:50070看一下创建的放在HDFS的哪个目录里
/user/hive/warehouse上面的目录只是映射,真正对应的表在这个目录里面
二、hive安装----用mysql
-
解压完hive后, 这个也配置完了hive-env.sh之后(看上面的步骤3)
-
mysql数据库安装
a. 在线安装mysql相关的软件包
[aaa@qq.com ~]# yum install mysql-server mysql-devel
如果看到这个:恭喜你!!安装完了!!(如果没有就惨了,这些是我遇到的问题:
可能镜像没挂载,或者用 wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm 就可以再在yum源那里看到两个新的yum源然后就可以安装了)b. 启动mysql服务
[aaa@qq.com ~]# /etc/init.d/mysqld start
c. 通过MySQL安装自带脚本进行设置 -
修改环境变量/etc/profile:
更新环境变量
执行source /etc/profile
执行hive --version看是否安装成功安装成功!!!
-
在/conf目录下创建 vim hive-site.xml(主要是设置放入mysql元数据的位置)
(如果不用mysql,也可以用原生的derby数据库存放,那就不用设置这个配置文件,用bin/hive就可以把hive起起来可以使用)
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
</configuration>
-
复制mysql的驱动程序到hive/lib下
(事先已经用xftp上传到 /root目录下)
[aaa@qq.com ~]# cp mysql-connector-java-5.1.37-bin.jar /export/servers/apache-hive-1.2.2-bin/lib -
去mysql创建数据库和用户(创建了hive)
mysql -uroot -p:进入mysql
mysql> GRANT ALL PRIVILEGES ON hive.* TO ‘root’@’%’ IDENTIFIED BY ‘123456’ WITH GRANT OPTION;
mysql> FLUSH PRIVILEGES; -
在mysql中hive的schema(数据库的初始化)(在hive/bin目录下)
schematool -dbType mysql -initSchema -
执行hive命令(在hive/bin目录下)
看到这个我太感人了(要哭了)终于成功了!!!!!
三、中间遇到的问题:
-
mysql数据库的安装
-
jdbc下载,找了半天
-
连接hive的时候还有这个问题
Access denied for user ‘root’@‘localhost’ (using password:YES)
查百度看到的分析,然后就检查呗:
a. 首先检查了hive-site.xml的配置,发现用户名和密码都是对的,为了验证所以又重新设置的了mysql的用户名和密码,所以不是密码错误;
b. 后来我怀疑在配置/usr/bin/mysql_secure_installation这里面密码输错了还是什么问题,还是什么远程的问题,于是我又进入重新配置了一下
c. 最后检查到是我没有给访问权限,所以进去mysql去给了权限(具体也看步骤6) -
数据库初始化不成功
原来是我没有创建数据库!!!!!!然后就回去创建数据库hive去了,记得还要给权限(具体去看上面的步骤6)
上一篇: vue.js 学习
下一篇: HDFS JavaAPI 操作
推荐阅读
-
Hadoop入门之eclipse对HDFS的常用操作
-
Hadoop学习笔记(2)-HDFS的基本操作(Shell命令)
-
Hadoop 实验: 熟悉常用的HDFS操作
-
大数据_07 【hadoop HDFS的shell命令操作】
-
使用Hadoop的Java API操作HDFS
-
hadoop之HDFS的常用命令操作
-
【hadoop】hive的安装
-
Bilibil的ijkplayer安装
-
解决使用 HBase Bulk Loading 工具出现超过32个hfile的问题,针对一个region的family 博客分类: hadoop-hbase hbasehadoopLoadIncrementalHFilescompletebulkload
-
Cognos安装与配置(使用自带的数据库derby+服务器Tomcat) 博客分类: WEB DerbyTomcatEXTIEJDK