欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

CDH部署(以5.7.5为例)

程序员文章站 2022-04-06 18:03:42
一、准备工作(下面的内容括号内写master的表示仅在master节点执行,all代表所有节点都执行) 1、文件下载: http://archive.cloudera.com/cdh5/parcels/5.7.5/ [CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel、CDH- ......

一、准备工作(下面的内容括号内写master的表示仅在master节点执行,all代表所有节点都执行)

1、文件下载:

  http://archive.cloudera.com/cdh5/parcels/5.7.5/

    [CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel、CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel.sha1、manifest.json ]

  http://archive.cloudera.com/cm5/cm/5/

     [cloudera-manager-centos7-cm5.7.5_x86_64.tar.gz]

二、开始安装

1、修改hosts文件

2、免密码登陆

3、关闭防火墙

4、关闭selinux: sed -i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

5、jdk安装 安装到 /usr/java/ 下,防止出现没必要的问题。

6、mysql安装(任意节点)--也可以使用其他节点上现有的mysql

7、mkdir /usr/share/java (master),上传mysql-connector jar包并重命名为:mysql-connector-java.jar

8、更改国内yum源,安装第三方依赖包(all):

  yum install ntp chkconfig python bind-utils psmisc libxslt zlib sqlite fuse fuse-libs redhat-lsb cyrus-sasl-plain cyrus-sasl-gssapi -y

9、同步时间: ntpdate s1a.time.edu.cn

10、解压cm tar包到指定目录(all):

  mkdir /opt/cloudera-manager
  tar -zxvf cloudera-manager-centos7-cm5.7.5_x86_64.tar.gz -C /opt/cloudera-manager

11、创建cloudera-scm用户(all):

  useradd -r -d /opt/cloudera-manager/cm-5.7.5/run/cloudera-scm-server -M -c "Cloudera SCM User" cloudera-scm

12、配置cloudera-manger-agent指向主节点服务器(all):

  vi /opt/cloudera-manager/cm-5.7.5/etc/cloudera-scm-agent/config.ini ------将server_host改为CMS所在的主机名

13、创建parcel-repo仓库目录(master):

  mkdir -p /opt/cloudera/parcel-repo
  chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
  cp CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo
  注意:其中CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel.sha1 后缀要把1去掉

14、创建parcels目录(all):
  mkdir -p /opt/cloudera/parcels
  chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

15、初始脚本配置数据库scm_prepare_database.sh(master):

   /opt/cloudera-manager/cm-5.7.5/share/cmf/schema/scm_prepare_database.sh mysql -h cdh1 -u root -p1234 --scm-host cdh1 scmdbn scmdbu scmdbp
  ##在这里后面的参数分别是:数据库类型、数据库主机名、数据库用户名、密码、 cm-server主机名、自动创建的cm元数据库、用户名、密码

16、启动cloudera-scm-server(master):

  /opt/cloudera-manager/cm-5.7.5/etc/init.d/cloudera-scm-server start

17、启动cloudera-scm-agent(all):

  mkdir /opt/cloudera-manager/cm-5.7.5/run/cloudera-scm-agent
  /opt/cloudera-manager/cm-5.7.5/etc/init.d/cloudera-scm-agent start

18、访问 master:7180