CDH 5.12.1离线部署指南(附spark2.2.0集成指南)
CDH 5.12.1离线部署指南(附spark2.2.0集成指南)，由于国内的网络原因，CDH在国内几乎无法实现在线安装，本文将介绍CDH离线安装方式，所有安装包下载后传输到内网安装，由于版本较新的原因，安装过程的坑还是很多的，在此记录一下。
一、???????硬件说明
一共6台节点：
master:32.31.104.159
slave1:32.31.104.161
slave2:32.31.104.162
slave3:32.31.104.163
slave4:32.31.104.164
slave5: 32.31.104.165
所有机器：
操作系统：Ubuntu16.04 LTS 对应代号为xenial
内存：128g
cpu：20个物理核心，40线程
二、???????软件下载
由于mysql服务器已经预装，所以这里不再下载安装mysql。
需要的所有安装包如下：
jdk-8u121-linux-x64.tar.gz
libopts25_5.18.12-3_amd64.deb
ntp_4.2.8p4+dfsg-3ubuntu5.7_amd64.deb
以上三个包我已经打包在百度云中，下载地址：https://pan.baidu.com/s/1nvT3K05
cloudera-manager-xenial-cm5.12.1_amd64.tar.gz
下载地址：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-xenial-cm5.12.1_amd64.tar.gz
CDH-5.12.1-1.cdh5.12.1.p0.3-xenial.parcel
下载地址：http://archive.cloudera.com/cdh5/parcels/5.12.1/CDH-5.12.1-1.cdh5.12.1.p0.3-xenial.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-xenial.parcel.sha1
下载地址：http://archive.cloudera.com/cdh5/parcels/5.12/CDH-5.12.1-1.cdh5.12.1.p0.3-xenial.parcel.sha1
manifest.json
下载地址：http://archive.cloudera.com/cdh5/parcels/5.12/manifest.json
注意：cloudera对jdk版本要求比较严格，应尽量使用上述版本，也可以去官网查看其它支持版本。第二个和第三个包用于安装ntp服务，如果集群能够联网，可以使用apt install安装。
三、???????环境准备（全程root用户）
1、关闭防火墙、selinux；
2、将全部主机的主机名设置好，并将以上映射关系写到每个主机的/etc/hosts文件中；
3、在master节点，ssh-keygen–t rsa生成密钥，将公钥分发到其它节点：ssh-copy-id host;
4、在每台机器上执行：sysctl vm.swappiness=0，并将/etc/sysctl.conf中vm.swappiness的值设为0
echo never >/sys/kernel/mm/transparent_hugepage/defrag?
echo never >/sys/kernel/mm/transparent_hugepage/enabled?
5、安装jdk
tar –zxvf jdk-8u121-linux-x64.tar.gz–C /usr/java/ #jdk的安装位置应保持一致
在/etc/profile中写入JAVA_HOME并将bin目录添加到PATH
source/etc/profile
在每台机器上都配置好jdk
6、安装和配置数据库
数据库用于存储元数据信息，建议使用mysql或postgrepsql，本例中使用mysql。
处于分担风险的考虑将元数据信息存储在slave1上。
Mysql的安装方式这里不再赘述，在此提醒一点：
为了使master上的进程能够访问到slave1上的数据库，需要解除默认的ip绑定，将/etc/mysql/my.cnf 中的bind-address= 127.0.0.1注释掉，如果/etc/mysql/my.cnf中没有这一行，在/etc/mysql/mysql.conf.d/mysqld.cnf中注释该行。
在mysql中执行以下脚本：
CREATE USER 'amon'@'*' IDENTIFIED BY'amon';
CREATE USER 'rman'@'*' IDENTIFIED BY'rman';
CREATE USER 'hive'@'*' IDENTIFIED BY'hive';
CREATE USER 'sentry'@'*' IDENTIFIED BY'sentry';
CREATE USER 'nav'@'*' IDENTIFIED BY 'nav';
CREATE USER 'navms'@'*' IDENTIFIED BY'navms';
CREATE USER 'hue'@'*' IDENTIFIED BY 'hue';
CREATE USER 'oozie'@'*' IDENTIFIED BY'oozie';
?
create database amon DEFAULT CHARACTER SETutf8;
grant all on amon.* TO 'amon'@'%'IDENTIFIED BY 'amon';
?
create database rman DEFAULT CHARACTER SETutf8;
grant all on rman.* TO 'rman'@'%'IDENTIFIED BY 'rman';
?
create database hive DEFAULT CHARACTER SETutf8;
grant all on hive.* TO 'hive'@'%'IDENTIFIED BY 'hive';
?
create database sentry DEFAULT CHARACTERSET utf8;
grant all on sentry.* TO 'sentry'@'%'IDENTIFIED BY 'sentry';
?
create database nav DEFAULT CHARACTER SETutf8;
grant all on nav.* TO 'nav'@'%' IDENTIFIEDBY 'nav';
?
create database navms DEFAULT CHARACTER SETutf8;
grant all on navms.* TO 'navms'@'%'IDENTIFIED BY 'navms';
?
create database hue DEFAULT CHARACTER SETutf8;
grant all on hue.* to 'hue'@'%' identifiedby 'hue';
?
create database oozie DEFAULT CHARACTER SETutf8;
grant all on oozie.* to 'oozie'@'%'identified by 'oozie';
?
FLUSH PRIVILEGES;
采用mysql作为元数据存储库，需要下载mysql连接驱动，复制到/usr/share/java/ 目录下；
7、安装配置ntp
cloudera要求集群中所有机器时间不能偏差过大，所以需要时间同步，如果可以联网，可以通过apt install或yum安装，因为我的机器无法联网，所以只能离线安装：
在每台机器上：执行
dpkg –i libopts25_5.18.12-3_amd64.deb
dpkg –i ntp_4.2.8p4+dfsg-3ubuntu5.7_amd64.deb
本例中让每个slave和master同步时间，将master作为ntpserver，在master中：
vim /etc/ntp.conf
更改如下：
restrict32.31.104.0 mask 255.255.255.0 nomodify
server127.127.1.0?????????????????? # ATOM(PPS)
fudge 127.127.1.0stratum 10??????????? # enable PPS API
保存退出，执行：
service ntprestart
?
在每个slave上：
vim /etc/ntp.conf
添加：
server masterprefer
保存退出，执行：
service ntp restart
master上的ntp server启动后要等5-10分钟才能可用，然后在每个slave执行：
ntpdate –u master
四、???????ClouderaManager安装配置
Cloudera manager为主从架构，即一个server和多个agent，本例中我们在master上安装server，master和所有slave上安装agent；
在master节点：
1、将cloudera-manager-xenial-cm5.12.1_amd64.tar.gz解压到/opt/下
tar –zxvf cloudera-manager-xenial-cm5.12.1_amd64.tar.gz–C /opt/
vim/opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini
更改：server_host=master
2、创建CM Server系统用户账号
useradd --system--home=/opt /cm-5.12.1/run/cloudera-scm-server --no-create-home--shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
3、创建CM Server的本地数据存储目录
mkdir -p/var/lib/cloudera-scm-server
chowncloudera-scm:cloudera-scm /var/lib/cloudera-scm-server
4、将/opt/cm-5.12.1分发到各个slave节点；
5、在slave1上：
将mysql驱动复制到：/opt/ cm-5.12.1/share/cmf/lib/目录下
执行：
/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.shmysql -hlocalhost -uroot –p1234 scm scm scm
登录mysql，增加一条对CM Server主机的访问授权：
grant all on scm.*TO 'scm'@'master' IDENTIFIED BY 'scm';
6、登陆master节点：
修改/opt/cm-5.12.1/etc/cloudera-scm-server/db.properties，更新以下参数：
com.cloudera.cmf.db.host=slave1?
com.cloudera.cmf.db.name=scm?
com.cloudera.cmf.db.user=scm?
com.cloudera.cmf.db.password=scm?
com.cloudera.cmf.db.setupType=EXTERNAL?
7、创建CDH Parcel资源目录，在master节点：
mkdir -p/opt/cloudera/parcel-repo
将:
CDH-5.12.1-1.cdh5.12.1.p0.3-xenial.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-xenial.parcel.sha1（后缀改为sha）
manifest.json
复制到该目录下
chown -Rcloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
在所有slave节点：
mkdir -p/opt/cloudera/parcels
chowncloudera-scm:cloudera-scm /opt/cloudera/parcels
8、启动cloudera manager server and agents
在所有节点上，先调整下文件属主权限：
chown -Rcloudera-scm:cloudera-scm /opt/cloudera-manager
在master节点：
/opt/ cm-5.12.1/etc/init.d/cloudera-scm-server? start
/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent? start
在slave节点：
/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent? start
五、???????CDH安装配置
启动clouderamanager后，访问以下地址：
http://master:7180/cmf
初始管理账号信息为：admin/admin
登陆后按提示操作即可
这里有个问题，记录一下：
在配置元数据库的时候，需要检测一下数据库连接，hive和oozie的连接一般可以正常测试成功，但是hue连接却出现错误，经查看日志发现缺少libmysqlclient.so.20文件，原因是hue是用python开发，python连接mysql需要这个文件，这个文件一般mysql安装目录的lib下面有，拷贝到/usr/lib下即可。如果没有可以到官网下载linux-generic-mysql安装包，在lib目录下即可找到。
?
在安装完成后hive和ozzie可能会启动不了，报错为无法找到com.mysql.jdbc驱动。需要将mysql驱动包分别复制到/opt/cloudera/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hive/lib和/opt/cloudera/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/oozie/libext/两个目录下，重新启动即可；
附：Spark2安装
最新的CDH安装包中spark版本为1.6，不过对于勇于尝鲜的同学，官方也提供了spark2的升级包，在CDH中spark1和spark2可以共存，但是由于scala版本的兼容性问题，建议只装一个版本。
由于spark依赖于scala所以需要在每个节点安装scala，并配置好SCALA_HOME并将$SCALA_HOME/bin加入PATH中。Scala可以在官网下载，版本选择2.11.x
安装spark需要四个文件：
SPARK2_ON_YARN-2.2.0.cloudera1.jar
下载地址：http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.2.0.cloudera1.jar
SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-xenial.parcel
下载地址：http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-xenial.parcel
SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-xenial.parcel.sha1
下载地址：http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-xenial.parcel.sha1
manifest.json
下载地址：http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/manifest.json
需要注意各个文件的版本必须保持一致。
以下操作在每个节点执行：
创建/opt/cloudera/csd目录，将SPARK2_ON_YARN-2.2.0.cloudera1.jar复制到该目录下。
修改所属用户：
chown cloudera-scmSPARK2_ON_YARN-2.2.0.cloudera1.jar
在master节点：
将/opt/cloudera/parcel-repo目录下的manifest.json重命名，复制前面下载的parcel包，sha文件和manifest.json到/opt/cloudera/parcel-repo目录下。
关闭CDH集群，重启cm server和cm agent，启动CDH集群。
然后点击主机->Parcel页面，看是否多了个spark2的选项。如下图，你这里此时应该是分配按钮，点击，等待操作完成后，点击激活按钮。
激活后，点击你的群集->添加服务，添加spark2服务。注意，如果你这里看不到spark2服务，就请检查你的CSD包和parcel包是否对应，上面的步骤是否有漏掉。正常情况下，应该是能用了。
到此spark2安装完毕，如果需要直接在集群使用spark-shell或者spark-submit，会发现出错，spark2对应的脚本应该是spark2-shell和spark2-submit；
?
spark2安装完毕后，还有一些后续工作，因为hue中无法使用spark，如果需要在hue中使用sparknotebook需要完成三件事情：
1、? 配置hue notebook，参考：https://blogs.msdn.microsoft.com/pliu/2016/06/18/run-hue-spark-notebook-on-cloudera/
2、? 安装livy server，下载地址：http://archive.cloudera.com/beta/livy/livy-server-0.3.0.ziplivy server只需下载、解压、配置、启动即可。配置主要配置SPAKR_HOME、HADOOP_CONF_DIR。需要注意的是livy server 默认为local模式运行spark，如果以livy提交spark作业在spark-env.sh或spark-default.conf中指定spark.master不起作用。需要在livy的配置文件中指定。
3、? 如果需要用spark读取hive中的数据，需要自己手动将hive-site.xml复制到/etc/spark2/conf目录下。