Linux下Hive安装 博客分类: 大数据
程序员文章站
2024-03-23 11:01:16
...
hive是基于hadoop的一个数据仓库工具,所以在安装hive时确保先搭建好hadoop集群,可以参考本人上一篇博客。
1、下载安装hive,本次以hive-3.1.1为例
下载完成后解压,配置当前用户环境变量,添加如下部分。
通过source .bash_profile刷新环境变量以生效。
2、mysql安装
mysql是用来作为hive的元数据库,首先检查系统是否已经内置安装了mysql,如果已经安装了先卸载。
卸载完成后通过rpm安装以下4个包。
通过service mysqld start启动mysql。
启动成功后,在/var/log/路径下生成有mysql日志。查看日志找到root用户的临时密码。
用该密码登陆mysql并修改root密码。
创建hive数据库作为hive的元数据库。
3、配置hive
进入hive的conf路径下,修改hive-site.xml文件,这里没有,复制一个。
修改hive-site.xml文件,将之前的所以配置全部清空(复制过来的模板可以不要),添加mysql连接信息。
本例中还做了一些其他参数的设置,相关信息可查阅文档了解。
复制mysql的驱动程序到hive/lib下面。
通过schematool -dbType mysql -initSchema命令执行mysql元数据库初始化。
这里出现一个错误,原因是mysql没有启动远程连接,连接mysql修改以下内容。
修改完毕后重启mysql,再执行初始化mysql,出现以下内容代表元数据库配置成功。
可以再次登陆mysql查看hive元数据表。
4、至此hive的配置已经完成
5、注意点
这边在hive使用中发现字段(表名)的中文注释会有乱码,需要修改以下元数据库(mysql)中的编码格式。
5.1修改表字段注解和表注释
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
5.2修改分区字段注释
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
5.3修改索引注释
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
1、下载安装hive,本次以hive-3.1.1为例
下载完成后解压,配置当前用户环境变量,添加如下部分。
通过source .bash_profile刷新环境变量以生效。
2、mysql安装
mysql是用来作为hive的元数据库,首先检查系统是否已经内置安装了mysql,如果已经安装了先卸载。
卸载完成后通过rpm安装以下4个包。
通过service mysqld start启动mysql。
启动成功后,在/var/log/路径下生成有mysql日志。查看日志找到root用户的临时密码。
用该密码登陆mysql并修改root密码。
创建hive数据库作为hive的元数据库。
3、配置hive
进入hive的conf路径下,修改hive-site.xml文件,这里没有,复制一个。
修改hive-site.xml文件,将之前的所以配置全部清空(复制过来的模板可以不要),添加mysql连接信息。
本例中还做了一些其他参数的设置,相关信息可查阅文档了解。
复制mysql的驱动程序到hive/lib下面。
通过schematool -dbType mysql -initSchema命令执行mysql元数据库初始化。
这里出现一个错误,原因是mysql没有启动远程连接,连接mysql修改以下内容。
修改完毕后重启mysql,再执行初始化mysql,出现以下内容代表元数据库配置成功。
可以再次登陆mysql查看hive元数据表。
4、至此hive的配置已经完成
5、注意点
这边在hive使用中发现字段(表名)的中文注释会有乱码,需要修改以下元数据库(mysql)中的编码格式。
5.1修改表字段注解和表注释
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
5.2修改分区字段注释
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
5.3修改索引注释
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
推荐阅读
-
Linux下Hive安装 博客分类: 大数据
-
Linux下Hive安装 博客分类: 大数据
-
Linux下Hadoop集群搭建 博客分类: 大数据 linuxhadoop
-
Mongodb在windows下的安装和启动 博客分类: Mongodb mongodbnosql数据库非关系型
-
linux下安装配置svn服务 博客分类: 技术杂文
-
linux下安装配置svn服务 博客分类: 技术杂文
-
Linux 安装Oracle 博客分类: 数据库-----ORACLE Linux 安装Oracle
-
西厢记之 Ubuntu Linux下编译安装西_厢_计_划 博客分类: 其他 LinuxUbuntu防火墙SVNC#
-
Mac下python以及django的安装,管理,连接mysql数据库 博客分类: djangopython pythondjango
-
liunx下的ssh免密匙互信登陆配置 博客分类: linux大数据 ssh