hue在centos7下的安装
1.hue简介
1.1什么是hue?
HUE=Hadoop User Experience
Hue是一个开源的Apache hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。
通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job,执行Hive的SQL语句,浏览Hbase数据库等等。
1.2.hue的链接
- 官网:http://gethue.com/
- Github: https://github.com/cloudera/hue
- Reviews: https://review.cloudera.org
1.3hue的架构
1.4核心功能
- SQL编辑器,支持Hive, Impala, MySQL, Oracle, PostgreSQL, SparkSQL, Solr SQL, Phoenix…
- 搜索引擎Solr的各种图表
- Spark和Hadoop的友好界面支持
- 支持调度系统Apache Oozie,可进行workflow的编辑、查看
- 将数据导入hdfs
- 浏览器查看状态,支持 YARN, HDFS, Hive table Metastore, HBase, ZooKeeper
HUE提供的这些功能相比Hadoop生态各组件提供的界面更加友好,但是一些需要debug的场景可能还是需要使用原生系统才能更加深入的找到错误的原因。
HUE中查看Oozie workflow时,也可以很方便的看到整个workflow的DAG图,不过在最新版本中已经将DAG图去掉了,只能看到workflow中的action列表和他们之间的跳转关系,想要看DAG图的仍然可以使用oozie原生的界面系统查看。
1.5hue的特性
- 图形化交互程序:节约学习成本
- 多应用同平台,便捷的操作流程
- 提示、自动补全功能
- 查询结果表格化、图形化显示、结果记忆功能
- 不同用户定制化服务
2.hue的安装
2.1运行环境
虚拟机:centos7
安装软件:
hadoop-2.7.3
hive-2.3.0
jdk1.8+
hue-4.0.1
MySQL数据库
2.2安装hadoop集群、hive
安装hadoop伪分布式:http://blog.csdn.net/qq_38799155/article/details/77748831
安装hive:http://blog.csdn.net/qq_38799155/article/details/77605615
2.3下载、安装hue
在root用户下安装wget
# yum -y install wget
退出root用户,切换到hadoop用户下执行,下载hue
$ wget https://github.com/cloudera/hue/archive/release-4.0.1.tar.gz
下载完成之后,开始解压
tar -zvxf release-4.0.1.tar.gz
2.4修改hadoop配置
参考之前的博客,在hadoop之前修改的配置问价基础之上,添加如下配置
1.core-site.xml
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
2.hdfs-site.xml
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
3.httpfs-site.xml
<property>
<name>httpfs.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>httpfs.proxyuser.hue.groups</name>
<value>*</value>
</property>
2.5添加hue依赖
不同的虚拟机、版本添加的依赖不同。如图所示,根据自己使用的虚拟机去添加依赖
笔者所需的依赖是这些:
yum install -y gcc libxml2-devel libxslt-devel cyrus-sasl-devel mysql-devel python-devel python-setuptools python-simplejson sqlite-devel ant gmp-devel
yum install -y cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi
yum -y install libffi-devel
yum -y install openldap-devel (重新编译)
2.6检查hue的依赖是否安装完整
$ cd hue-release-4.0.1 hue/
$ PREFIX=/home/hadoop make install
2.7配置hue
到hue/desktop/conf/下修改pseudo-distributed.ini.tmpl文件
$ cd hue/
$ cd desktop/conf/
$ cp pseudo-distributed.ini.tmpl pseudo-distributed.ini
$ vi pseudo-distributed.ini
修改的地方如图所示:
2.8.hua连接MySQL
2.9启动hive和hue
//启动hiveserver2
$ hiveserver2
//启动hue
$ cd /home/hadoop/hue/build/env/bin
$ ./supervisor
注意:自己搭建了HUE,则第一次可以使用管理员账户创建一个新的用户,然后使用新的用户进行登录,见下图:
成功登陆之后,HUE可以很方便的浏览HDFS中的目录和文件,并且进行文件和目录的创建、复制、删除、下载以及修改权限等操作。
HDFS实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者(owner)和一个组(group)。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。但,用户身份机制对HDFS本身来说只是外部特性。HDFS并不提供创建用户身份、创建组或处理用户凭证等功能。 使用HUE访问HDFS时,HDFS简单的将HUE上的用户名和组的名称进行权限的校验。
遇到的问题以及解决的办法
使用hive 0.13.0时会报
can't fetch result之类的错误
是版本原因,升级hive版本为2.3.0问题消失
连接hive error
Could not install table: Error creating table sample_07: Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found (code THRIFTTRANSPORT): TTransportException('Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found',).
解决办法:
yum -y install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi
配置参考网址:http://cloudera.github.io/hue/docs-4.0.0/manual.html#_hive_configuration
hue的一些常见问题:http://www.cnblogs.com/zlslch/p/6819622.html?utm_source=itdadao&utm_medium=referral
上一篇: php排除有某同一特征的数据
下一篇: 微信扫描二维码登录网站代码
推荐阅读
-
mysql 5.7 zip 文件在 windows下的安装教程详解
-
解析c#在未出现异常情况下查看当前调用堆栈的解决方法
-
Windows下安装ElasticSearch的方法(图文)
-
Mysql数据库名和表名在不同系统下的大小写敏感问题
-
Centos7下使用yum安装mysql数据库的详细教程(增强版)
-
java在linux系统下开机启动无法使用sudo命令的原因及解决办法
-
详解在iOS11下app图标变空白的问题解决方法
-
CentOS6.5下RPM方式安装mysql5.6.33的详细教程
-
mysql 5.7.9 winx64在windows上安装遇到的问题
-
在centOS 7安装mysql 5.7的详细教程