2. Kylin集群安装部署 后续测试未完成
修改Kylin对应的Hbase版本
Kylin 2.5.0 Hbase 1.3.5
hbase-env.sh修改
vim hbase-env.sh
修改jdk版本
注释jdk差异代码
关闭自动zookeeper自动管理
修改hbase-site.xml
vim hbase-site.xml
按之前版本配置
可直接拷贝hdfs-site.xml
cp /opt/sxt/hbase-0.98.12.1/conf/hdfs-site.xml /root/hbase-1.3.5/conf/
注意可能因为有端口而报错:
修改 regionservers
vim regionservers
移动到指定目录
mv hbase-1.3.5 /opt/sxt/
删除zookeeper和hadoop上面的hbase数据
因为需要删除zookeeper和hadoop上面的hbase数据
zookeeper
启动3台zookeeper
zkServer.sh start
查看3台状态
zkServer.sh status
在zookeeper的Master上启动zookerper客户端
zkCli.sh
查看文件
ls /
删除hbase数据
rmr /hbase
hadoop
开启hadoop(节点1上)
start-dfs.sh
可查看hadoop节点网页
bd1301:50070
删除hbase数据
hdfs dfs -rmr /hbase
刷新网页确认删除
拷贝hbase目录到bd1302(节点2) bd1303(节点3)
scp -r hbase-1.3.5/ bd1302:`pwd`
scp -r hbase-1.3.5/ bd1303:`pwd`
--注意是~下面的符号
安装Kylin
这里配置在节点2上了
只有节点1和节点2有hive
基本操作
解压kylintar包
tar zxvf apache-kylin-2.5.0-bin-hbase1x.tar.gz
修改目录名并移到到指定位置
mv apache-kylin-2.5.0-bin-hbase1x kylin
mv kylin /opt/sxt/
配置kylin读取的相关环境变量
vim /etc/profile
添加&修改的参数
export HIVE_HOME=/opt/sxt/hive-1.2.1
export HBASE_HOME=/opt/sxt/hbase-1.3.5
export HIVE_CONF_HOME=$HIVE_HOME/conf
export HCAT_HOME=$HIVE_HOME/hcatalog
export HADOOP_CONF_DIR=/opt/sxt/hadoop-2.6.5/etc/hadoop
export PATH=$HCAT_HOME/bin:$PATH
export KYLIN_HOME=/opt/sxt/kylin
export PATH=$HIVE_HOME/bin:$PATH
export PATH=$KYLIN_HOME/bin:$PATH
以下面示例为准:
拷贝环境变量到节点2 3
scp profile bd1302:`pwd`
scp profile bd1303:`pwd`
因为环境变量的追加问题
直接使用source profile还是之前的hbase版本
echo $PATH ----- 查看环境变量
我们可以重新登陆 或者 重启虚拟机
exit退出
重新登陆
测试
开启hbase
start-hbase.sh
bd1301:16010 访问节点1的hbase主页
配置kylin.properties（单节点时这一步可以忽略掉）
vim kylin.properties
#配置节点类型（kylin节点模式分为all、query(查询模式)、job（任务构建模式））
#kylin集群节点配置 （这里选一台）
Kyli启动
使用kylin的前提是，kylin要有操作所有东西的权限，hdfs读写权限，hive创建表权限，各种权限，这里直接用root用户操作
1.启动zookeeper
zkServer.sh start
2.hadoop集群启动
(hadoop 和 yarn)
start-all.sh
启动jobhistory:
如果配置了可以启动
启动命令:
因为配置在节点2上所以在节点2上启动
mr-jobhistory-daemon.sh start historyserver
MR的历史任务日志配置参数如下：
在mapred-site.xml中添加
<property>
<name>mapreduce.jobhistory.address</name>
<value>bd1302:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bd1302:19888</value>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/history/done</value>
</property>
<!--- 正在运行的任务信息临时目录 -->
<property>
<name>mapreudce.jobhistory.intermediate.done-dir</name>
<value>/history/done/done_intermediate</value>
</property>
在yarn-site.xml中添加
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
3.hbase集群启动
start-hbase.sh
刚才配置环境变量测试启动过了
4.hive启动
service mysqld start
注意:这里要看之前设置的mysql启动方式
(mysql存储了hive的元数据)
所有的依赖就算开启完毕了，可以通过check-env.sh进行检查。
check-env.sh
确认无误后kylin.sh start 启动kylin服务。通过ip:7070/kylin的url地址进行访问。默认的用户名和密码为ADMIN和KYLIN
kylin.sh start
注意：查看kylin.log时若有如下错误：
[Thread-10] curator.ConnectionState:201 : Connection timed out for connection string (bd1301:2181:2181,bd1302:2181:2181,bd1303:2181:2181) and timeout (15000) / elapsed (57045)
org.apache.curator.CuratorConnectionLossException: KeeperErrorCode = ConnectionLoss
这是由于：读取的是配置文件hbase-site.xml的hbase.zookeeper.quorum，该项只需配置Host不需要配置端口号Port，改回来之后重启hbase就好了.
vim /opt/sxt/hbase-1.3.5/conf/hbase-site.xml
测试
查看kylin主页:
http://bd1302:7070/kylin
上一篇： Maven应用-安装