Cloudera Manager Server CDH 5.15部署

安装前准备

主机和系统

host	os	memory	ip
bigdata001-dev	cent os 7.4 x64	32g	192.168.1.1
bigdata002-dev	cent os 7.4 x64	32g	192.168.1.2
bigdata003-dev	cent os 7.4 x64	15g	192.168.1.3
bigdata004-dev	cent os 7.4 x64	32	192.168.1.4

 

安装包下载

下载 cloudera-manager.repo 文件

 wget –p /etc/yum.repos.d https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo

 

升级 gpg key

sudo rpm --import https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/rpm-gpg-key-cloudera

 

 

系统和环境配置

更改主机名

打开网络配置

sudo vim /etc/sysconfig/network

networking=yes

hostname=bigdata002-dev.novalocal

重启网络

sudo service network restart

配置hosts文件

打开hosts文件

sudo vim /etc/hosts

改为如下配置

192.168.1.3  bigdata003-dev.novalocal

192.168.1.2  bigdata002-dev.novalocal

192.168.1.1  bigdata001-dev.novalocal

192.168.1.4  bigdata004-dev.novalocal

关闭内存大页

 

在 /etc/rc.d/rc.local 中添加一下内容

 

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

 

所有机器安装java 8

旧版本卸载

#查看安装的java

rpm -qa | grep java

#卸载相应的java包

rpm –qa |grep jdk | xargs rpm -e --nodeps $1

 

下载 jdk tar包解压并配置环境变量

在你看到这篇文档的时候 oracle jdk 可能已经开始收费了。所以我们可以试试 openjdk ,cloudera 正在努力让自己的平台与 openjdk 适配，这应该不会花费太多时间

 

wget https://download.java.net/java/early_access/jdk8/b03/bcl/jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz

tar xzvf jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz –c /user/java/

配置环境变量

vim /etc/profile

# 添加一下内容

java_home=/usr/java/jdk1.8.0_202

path=$java_home/bin:$path

classpath=.:$java_home/lib

export java_home path classpath jre_home

 

关闭所有机器的防火墙和selinux

如果一个个配置端口的话会比较麻烦，所以在安装过程中就把防火墙关闭，可以在安装完成后再根据需求配置

关闭防火墙

关闭 iptables

service iptables stop

sudo chkconfig iptables off

关闭firewalld

systemctl disabled firewalld

我们的服务器 有salt 所以我们可以批量执行。在salt server 服务器

salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘systemctl stop firewalld && systemctl disable firewalld’

salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘systemctl stop firewalld && systemctl disable firewalld’

关闭selinux

临时关闭

sudo setenforce 0

salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘setenforce 0 && getenforce ’

salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘setenforce 0 && getenforce ’

 

如果要永久关闭，可以修改配置：

sudo vim /etc/selinux/config

修改以下配置

selinux=disabled

启动 ntp 服务

service ntpd start

chkconfig ntpd on

systemctl start ntpd

systemctl enable ntpd

salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘systemctl start ntpd && systemctl enable ntpd’

salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘systemctl start ntpd && systemctl enable ntpd ’

 

注：如果不启动 ntpd 服务，scm agent 无法发现123 端口开放状态，会出现告警

 

cloudera manager server 和 agent 安装

yum 安装

yum 网络安装方式，如果你已经配置 yum 源

yum install cloudera-manager-daemons cloudera-manager-server

 

rpm 包安装

所有服务器都需要的操作：

我们使用 rpm 安装所以其他的依赖包需要使用 yum 安装

yum install bind-utils psmisc libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse  portmap fuse-libs  httpd mod_ssl python-psycopg2 redhat-lsb-core –y

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/rpms/x86_64/cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

rpm –ivh cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

server 服务器

https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/rpms/x86_64/

下载 server rpm 包

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/rpms/x86_64/cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/rpms/x86_64/cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

rpm –ihv cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

 

agent 服务器安装

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/rpms/x86_64/cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

rpm –ivh cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

 

安装mysql

数据库这一步我们可以找dba 协助

在server 机安装配置mysql

sudo yum install mysql-server

设置开机启动

sudo chkconfig mysqld on

启动mysql service

sudo service mysqld start

设置root用户密码

sudo mysqladmin -u root password 'xxxx'

 

为cloudera manager建立数据库

下载mysql驱动：http://dev.mysql.com/downloads/connector/j/

解压把驱动的jar文件mysql-connector-java.jar上传到/usr/share/java/

初始化数据cloudera库

sudo /user/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pmysql@hadoop0 --scm-host localhost scm mysql@hadoop:scm:88

 

如果dba已经帮我们处理完的数据库的事情，我们需要修改 数据库配置文件

c /etc/cloudear-scm-server/db.properties

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=www.mydatabase.com:3306

com.cloudera.cmf.db.name=scm

com.cloudera.cmf.db.user=devuser

com.cloudera.cmf.db.password=devuser123

com.cloudera.cmf.db.setuptype=external

 

在master机上启动cloudera manager  server

systemctl start cloudera-scm-server

systemctl enable cloudera-scm-server

 

agent配置

在所有机器上配置master机的主机名

sudo vim /etc/cloudera-scm-agent/config.ini

把server_host设置成master机的主机名

server_host=192.1687.1.2

启动agent 

systemctl  start cloudera-scm-agent

systemctl enable cloudera-scm-agent

 

打开cloudera manager主页

http://192.168.1.10:7180/

第一次启动比较慢，可能需要等待几分钟才可以打得开cloudera manager主页。

登录cloudera manager

默认用户名密码都是admin，第一次登录成功之后先进入到cloudera manager的安装引导界面：

 

 

 

cdh安装

cdh文件上传

下载 cdh 安装包和 sha 验证文件

http://archive.cloudera.com/cdh5/parcels/5.15.0/

wget http://archive.cloudera.com/cdh5/parcels/5.15.0/cdh-5.15.0-1.cdh5.15.0.p0.21-el7.parcel

wget http://archive.cloudera.com/cdh5/parcels/5.15.0/cdh-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1

在通过 cloudera manager 进行网络安装cdh 的时候可能会比较慢，或卡住所以我们可以将已经下好的 cdh 包上传到server 端服务器上

把下载好的cdh-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1 重命名 

cdh-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha

把cdh的parcel和sha文件上传到server机 的 /opt/cloudera/parcel-repo/目录

cdh-5.15.0-1.cdh5.15.0.p0.21-el7.parcel

cdh-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha

 

 

选择cloudera manager的版本

 

选择要安装cdh的主机

所有正常启动agent的机器都会显示在这个页面

 

 

选择要安装的parcels

 

 

安装parcel

 

 

选择要安装的服务

如下图所示，有多种服务组合供选择（服务是随时可以根据需求增删的），我这里根据项目需求选择自定义服务。

 

 

集群设置

一般按默认设置就可以了，也可以根据自己的需求定制。

 

 

 

点击继续安装，在安装的过程中可能会有一些服务的配置需要设置，一般按默认配置就可以了。

 　　

完成安装

 

 

 

至此，cloudear manger/cdh的安装已经完成，你可以在cloudear manger管理界面上对集群进行更细化的定制。