CDH部署(以5.7.5为例)
一、准备工作(下面的内容括号内写master的表示仅在master节点执行,all代表所有节点都执行)
1、文件下载:
http://archive.cloudera.com/cdh5/parcels/5.7.5/
[CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel、CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel.sha1、manifest.json ]
http://archive.cloudera.com/cm5/cm/5/
[cloudera-manager-centos7-cm5.7.5_x86_64.tar.gz]
二、开始安装
1、修改hosts文件
2、免密码登陆
3、关闭防火墙
4、关闭selinux: sed -i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
5、jdk安装 安装到 /usr/java/ 下,防止出现没必要的问题。
6、mysql安装(任意节点)--也可以使用其他节点上现有的mysql
7、mkdir /usr/share/java (master),上传mysql-connector jar包并重命名为:mysql-connector-java.jar
8、更改国内yum源,安装第三方依赖包(all):
yum install ntp chkconfig python bind-utils psmisc libxslt zlib sqlite fuse fuse-libs redhat-lsb cyrus-sasl-plain cyrus-sasl-gssapi -y
9、同步时间: ntpdate s1a.time.edu.cn
10、解压cm tar包到指定目录(all):
mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.7.5_x86_64.tar.gz -C /opt/cloudera-manager
11、创建cloudera-scm用户(all):
useradd -r -d /opt/cloudera-manager/cm-5.7.5/run/cloudera-scm-server -M -c "Cloudera SCM User" cloudera-scm
12、配置cloudera-manger-agent指向主节点服务器(all):
vi /opt/cloudera-manager/cm-5.7.5/etc/cloudera-scm-agent/config.ini ------将server_host改为CMS所在的主机名
13、创建parcel-repo仓库目录(master):
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
cp CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo
注意:其中CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel.sha1 后缀要把1去掉
14、创建parcels目录(all):
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
15、初始脚本配置数据库scm_prepare_database.sh(master):
/opt/cloudera-manager/cm-5.7.5/share/cmf/schema/scm_prepare_database.sh mysql -h cdh1 -u root -p1234 --scm-host cdh1 scmdbn scmdbu scmdbp
##在这里后面的参数分别是:数据库类型、数据库主机名、数据库用户名、密码、 cm-server主机名、自动创建的cm元数据库、用户名、密码
16、启动cloudera-scm-server(master):
/opt/cloudera-manager/cm-5.7.5/etc/init.d/cloudera-scm-server start
17、启动cloudera-scm-agent(all):
mkdir /opt/cloudera-manager/cm-5.7.5/run/cloudera-scm-agent
/opt/cloudera-manager/cm-5.7.5/etc/init.d/cloudera-scm-agent start
18、访问 master:7180