Ubuntu16.04安装CDH5.14.2
一、安装cloudera manager(下文简称cm)
(一).环境及软件准备:
1.环境:Ubuntu16.04 desktop x 3 台
-
-
- ip分别为:10.132.226.121,10.132.226.122,10.132.226.123
- 用户统一使用root用户
-
2.需下载安装的软件:
-
-
- cm压缩包:cloudera-manager-xenial-cm5.14.2_amd64.tar.gz
- CDH离线资源包(parcels):
- cloudera-manager-daemons(主节点)
- cloudera-manager-server(主节点)
- cloudera-manager-agent(主节点和从节点)
- 注意:Ubuntu有多个版本:16.04代号为Xenial Xerus——好客的非洲地松鼠14.04代号为Trusty Tahr——值得信赖的塔尔羊12.04代号为Precise Pangolin——精准的穿山甲,因此16.04需下载xenial版本的文件,否则可能会出现不兼容的问题。
- ssh服务
- ntp服务
- oracle-java
- mariadb
-
(二).主机环境配置:
- 修改hostname:
-
主节点 master:
root@master:~# vim /etc/hostname ~~~~~~~内容~~~~~~~ master ~~~~~~~内容~~~~~~~
-
从节点 slave[1-2]:
root@slave1:~# vim /etc/hostname ~~~~~~~内容~~~~~~~ slave1 ~~~~~~~内容~~~~~~~
-
主节点 master:
- 修改hosts(所有节点):
1 root@master:~# vim /etc/hosts 2 ~~~~~~~~~~~内容~~~~~~~~~~~ 3 127.0.0.1 localhost 4 10.132.226.121 master 5 10.132.226.122 slave1 6 10.132.226.123 slave2 7 8 # The following lines are desirable for IPv6 capable hosts 9 ::1 ip6-localhost ip6-loopback 10 fe00::0 ip6-localnet 11 ff00::0 ip6-mcastprefix 12 ff02::1 ip6-allnodes 13 ff02::2 ip6-allrouters 14 ~~~~~~~~~~~内容~~~~~~~~~~~
注意:部分主机含有127.0.1.1 的地址 用#注释或删除
- 更新软件包(所有节点):
root@master:~# apt update
注意:如果有涉及内核的更新需要重启一下系统
- 关闭防火墙(所有节点):
root@slave1:~# ufw disable Firewall stopped and disabled on system startup
- 重启系统:reboot 因为更改/etc/hostname必须要重启系统才能生效,更新软件包,以及关闭防火墙有时也需要重启系统来应用部分配置,因此在这步进行系统重启。
-
ssh服务配置:
-
如果未安装ssh服务则先进行安装(所有节点):
root@master:~# apt install openssh-server openssh-client
- 修改/etc/ssh/sshd_config配置文件中的以下选项(所有节点):
1 root@master:~# vim /etc/ssh/sshd_config 2 ~~~~~~~~查找并修改~~~~~~~~ 3 PermitRootLogin yes 4 PasswordAuthentication yes 5 ~~~~~~~~查找并修改~~~~~~~~ 6 root@master:~# /etc/init.d/ssh restart
若有#号注释的删除#号并更改即可
- 配置各节点之间的免密登陆(只在主节点操作):
1 root@master:~# ssh-keygen -t rsa 2 //生成密钥 一路回车,如果之前已有生成,提示是否重新生成时填y即可 3 root@master:~# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 4 root@master:~# chmod 600 ~/.ssh/authorized_keys 5 root@master:~# scp -r /root/.ssh root@slave1:/root/ 6 root@master:~# scp -r /root/.ssh root@slave2:/root/
注意:如果出现无法连接的 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED 错误时 清楚~/.ssh 文件下know_hosts文件找到与登录错误的IP的公钥删除即可
-
- 配置ntp服务:
- 安装ntp服务(所有节点):
1 root@master:~# apt-get install ntp
- 修改/etc/ntp.conf配置文件:
- master:
1 root@master:~# vim /etc/ntp.conf 2 //用#注释掉所有的pool和server 3 ~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~~ 4 restrict 10.132.226.0 mask 255.255.255.0 5 server 202.120.2.101 6 server cn.pool.ntp.org 7 server 127.0.0.1 8 ~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~~
- slave:
1 root@slave1:~# vim /etc/ntp.conf 2 //用#注释掉所有pool与server添加一下内容 3 ~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~ 4 server master 5 ~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~
- master:
- 重启ntp服务:
1 root@master:~t# service ntp restart
- 安装ntp服务(所有节点):
- 修改hostname:
- 安装配置JAVA(所有节点):
- 安装java:
1 root@master:~# add-apt-repository ppa:webupd8team/java 2 //因为cm需要安装oracle的java,二ubuntu的源中默认只有openjdk所以需要添加源 3 root@master:~# apt-get update 4 root@master:~# apt-get install oracle-java8-installer
- 修改/etc/profile文件添加JAVA_HOME:
1 root@master:~# vim /etc/profile 2 ~~~~~~~~~~~~~~~~~~~~~~文末添加~~~~~~~~~~~~~~~~~~~~~~ 3 export JAVA_HOME=/usr/lib/jvm/java-8-oracle 4 export JRE_HOME=${JAVA_HOME}/jre 5 export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 6 export PATH=$PATH:${JAVA_HOME}/bin:{JRE_HOME}/bin:$PATH 7 ~~~~~~~~~~~~~~~~~~~~~~文末添加~~~~~~~~~~~~~~~~~~~~~~
若不知道java的位置可通过update-alternatives --config java 来查看java信息
1 root@master:~# update-alternatives --config java 2 有 4 个候选项可用于替换 java (提供 /usr/bin/java)。 3 4 选择 路径 优先级 状态 5 ------------------------------------------------------------ 6 0 /usr/lib/jvm/java-8-oracle/jre/bin/java 1081 自动模式 7 1 /usr/java/jdk1.8.0_121/bin/java 300 手动模式 8 2 /usr/lib/jvm/j2sdk1.6-oracle/jre/bin/java 315 手动模式 9 3 /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java 1081 手动模式 10 * 4 /usr/lib/jvm/java-8-oracle/jre/bin/java 1081 手动模式 11 12 要维持当前值[*]请按<回车键>,或者键入选择的编号:
- 安装java:
- 安装配置Mariadb(主节点):
- 安装Mariadb:
root@master:/home/jy# apt-get install mariadb-server
- 修改/etc/mysql/mariadb.conf.d/50-server.cnf配置文件使数据库可远程访问:
1 root@master:~# vim /etc/mysql/mariadb.conf.d/50-server.cnf 2 3 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 4 [mysqld] 5 6 # 7 # * Basic Settings 8 # 9 user = mysql 10 pid-file = /var/run/mysqld/mysqld.pid 11 socket = /var/run/mysqld/mysqld.sock 12 port = 3306 13 basedir = /usr 14 datadir = /var/lib/mysql 15 tmpdir = /tmp 16 lc-messages-dir = /usr/share/mysql 17 skip-external-locking 18 19 # Instead of skip-networking the default is now to listen only on 20 # localhost which is more compatible and is not less secure. 21 bind-address = 0.0.0.0 #修改此项,可用#注释,或改成本实例内容 22 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
- 使用mysql_secure_installation进行数据库初始化设置:
1 root@master:~# mysql_secure_installation 2 ~~~~省略部分内容~~~~ 3 Enter current password for root (enter for none): //此处直接回车,默认root密码为空 4 OK, successfully used password, moving on... 5 6 Setting the root password ensures that nobody can log into the MariaDB 7 root user without the proper authorisation. 8 9 Set root password? [Y/n] y //选择y更改root密码 10 New password: 11 Re-enter new password: 12 Password updated successfully! 13 Reloading privilege tables.. 14 ... Success! 15 ~~~~省略部分内容~~~~ 16 Remove anonymous users? [Y/n] n 17 ... skipping. 18 ~~~~省略部分内容~~~~ 19 Disallow root login remotely? [Y/n] n //选 n 为允许root用户远程登录 20 ... skipping. 21 ~~~~省略部分内容~~~~ 22 Remove test database and access to it? [Y/n] y 23 ~~~~省略部分内容~~~~ 24 Reload privilege tables now? [Y/n] y 25 ... Success! 26 27 Cleaning up... 28 29 All done! If you've completed all of the above steps, your MariaDB 30 installation should now be secure. 31 32 Thanks for using MariaDB!
- 增加可远程访问的root用户:
1 root@master:~# mysql -u root -p 2 Enter password: 3 MariaDB [(none)]> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root123' WITH GRANT OPTION; 4 Query OK, 0 rows affected (0.00 sec 5 MariaDB [(none)]> flush privileges;
- 创建需要的数据库:
1 MariaDB [(none)]> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 2 MariaDB [(none)]> create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 3 MariaDB [(none)]> create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 4 MariaDB [(none)]> create database manager DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 5 MariaDB [(none)]> create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 6 //后续其他选中的服务需要数据库可以自己再次创建
- 安装JDBC:
root@master:~# apt install libmysql-java
- 安装Mariadb:
- 安装配置JAVA(所有节点):
(三).配置与安装cm:
1.配置本地源:
- 解压下载的cm包到指定目录:
1 root@master:~# mkdir /opt/cloudera-manager //所有节点创建 2 root@master:~# tar -xzvf cloudera-manager-xenial-cm5.14.2_amd64.tar.gz -C /opt/cloudera-manager
- 修改/opt/cloudera-manager/cm-5.14.2/etc/cloudera-scm-agent/config.ini文件:
1 root@master:~# vim /opt/cloudera-manager/cm-5.14.2/etc/cloudera-scm-agent/config.ini 2 ~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~ 3 [General] 4 # Hostname of the CM server. 5 server_host=master 6 7 # Port that the CM server is listening on. 8 server_port=7182 9 ~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~ 10 //server_host 更改为主节点的ip或者host名 11 //server_port 默认为7182 若端口被占,则改成其他
- 把主节点的cloudera-manager文件夹拷贝到其他节点:
1 root@master:~# scp -r /opt/cloudera-manager root@slave1:/opt/cloudera-manager/ 2 root@master:~# scp -r /opt/cloudera-manager root@slave2:/opt/cloudera-manager/
- 创建parcle-repo本地CDH源(主节点):
1 root@master:~# mkdir -p /opt/cloudera/parcel-repo //在所有节点创建 2 //将sha1更名为sha否则无法识别,并将资源包拷贝到/opt/cloudera/parcel-repo 3 root@master:~# mv CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha 4 root@master:~# cp CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha manifest.json /opt/cloudera/parcel-repo
- 创建parcels目录(所有节点):
1 root@master:~# mkdir -p /opt/cloudera/parcels
- 创建cloudera-scm用户(所有节点):
root@master:~# useradd --system --home=/opt/cloudera-manager/cm-5.14.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
- 更改文件夹所有用户与用户组(所有节点):
1 root@master:~# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels 2 root@master:~# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo 3 root@master:~# chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager
- 解压下载的cm包到指定目录:
2.安装cloudera manager*
- 添加cloudera仓库:从 Cloudera Manager Version and Download Information 找到适合当前操作系统版本的cloudera包文件,如本例的包文件地址为:https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/cloudera.list,将文件中的内容复制到/etc/apt/sources.list.d/cloudera-manager.list中(没有则新建)
1 root@master:/etc/apt/sources.list.d# vim /etc/apt/sources.list.d/cloudera-manager.list 2 ~~~~~~~~~~~~~~~~~~~~添加内容~~~~~~~~~~~~~~~~~~~~ 3 # Packages for Cloudera Manager, Version 5, on Ubuntu 16.04 amd64 4 deb [arch=amd64] http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm xenial-cm5 contrib 5 deb-src http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm xenial-cm5 contrib 6 ~~~~~~~~~~~~~~~~~~~~添加内容~~~~~~~~~~~~~~~~~~~~
-
安装cloudera-manager-daemons(主节点) cloudera-manager-server(主节点) coudera-manager-agent(主节点和从节点):
1 root@master:~# apt-get install cloudera-manager-daemons cloudera-manager-server 2 root@master:~# apt-get install cloudera-manager-agent
- 修改/opt/cloudera-manager/cm-5.14.2/etc/cloudera-scm-agent/config.ini文件:
1 root@master:~# vim /etc/cloudera-scm-agent/config.ini 2 ~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~ 3 [General] 4 # Hostname of the CM server. 5 server_host=master 6 7 # Port that the CM server is listening on. 8 server_port=7182 9 ~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~ 10 //server_host 更改为主节点的ip或者host名 11 //server_port 默认为7182 若端口被占,则改成其他
- 添加cloudera仓库:从 Cloudera Manager Version and Download Information 找到适合当前操作系统版本的cloudera包文件,如本例的包文件地址为:https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/cloudera.list,将文件中的内容复制到/etc/apt/sources.list.d/cloudera-manager.list中(没有则新建)
3.配置cm数据库账户:
- 创建scm账户:
1 root@master:~# mysql -uroot -p 2 Enter password: 3 MariaDB [(none)]> grant all on *.* to 'scm'@'%' identified by 'scm' with grant option; 4 MariaDB [(none)]> flush privileges;
- 通过scm_prepare_database.sh 创建数据库及数据库用户:
1 root@master:~# /usr/share/cmf/schema/scm_prepare_database.sh mysql -hmaster -uroot -p --scm-host master scm scm scm 2 JAVA_HOME=/usr/lib/jvm/java-8-oracle 3 Verifying that we can write to /etc/cloudera-scm-server 4 log4j:ERROR Could not find value for key log4j.appender.A 5 log4j:ERROR Could not instantiate appender named "A". 6 Creating SCM configuration file in /etc/cloudera-scm-server 7 Executing: /usr/lib/jvm/java-8-oracle/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db. 8 log4j:ERROR Could not find value for key log4j.appender.A 9 log4j:ERROR Could not instantiate appender named "A". 10 [2018-05-20 02:19:36,840] INFO 0[main] - com.cloudera.enterprise.dbutil.DbCommandExecutor.testDbConnection(DbCommandExecutor.java) - Successfully connected to database. 11 All done, your SCM database is configured correctly! 12 //这里出现的ERROR暂时没发现影响后面的操作,可以忽略
说明:
脚本用来创建和配置CMS需要的数据库。各参数是指:
mysql:数据库用的是mysql,如果安装过程中用的oracle,那么该参数就应该改为oracle。
-uroot:root身份运行mysql。-proot:mysql的root密码是root。
--scm-host localhost :CMS的主机,一般是和mysql安装的主机是在同一个主机上。
最后三个参数是:数据库名,数据库用户名,数据库密码。
- 创建scm账户:
4.启动cloudera manager服务:
- 主节点启动:cloudera-scm-server:
1 root@master:~# service cloudera-scm-server start
这步启动时间有点长,可以查看日志来看服务是否启动完成:
root@master:/# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
- 所有节点启动 cloudera-scm-agent:
1 root@master:~# service cloudera-scm-agent start
- 主节点启动:cloudera-scm-server:
(二)安装CDH5:
- 进入CMS管理界面: 通过http:主节点ip:7180 进入 用户名和密码均为admin
- 选择版本:
- 选择安装的主机:如果没有启动cloudera-scm-agent服务会出现部分节点不在以管理的主机中,启动再刷新就可以了
- 选择cdh的版本,选择自己下载在parcels-repo包中的cdh版本,这里应该选CDH-5.14.2-cdh5.14.2p0.3
- 进行集群安装,刚开始可能会出现connect refused 再等待一会应该就会重新进行分配
- 集群安装检查主机正确性,确保所有验证都为绿色。
注意:Cloudera 建议将 /proc/sys/vm/swappiness 设置为 10。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。
解决方法 在出现问题的节点上运行:echo 10 > /proc/sys/vm/swappiness
echo后面的10 为需要的设置的值。 - 选择自己需要的服务
-
数据库设置:
数据库名为之前创建的数据库名,若没有创建你需要的服务所需的数据库,可自行再进行创建,用户名这里使用root。也可自己创建新的用户
-
之后 一直继续即可
-
完成安装部署:
-
进入cms管理界面:
上一篇: Java集合概述(上)
下一篇: c++-构造函数