大数据的基础环境搭建之大数据集群群环境准备

1、三台虚拟机关闭防火墙

三台机器执行以下命令（root用户来执行）

service iptables stop
chkconfig iptables off

2、三台机器关闭selinux

vim /etc/selinux/config

3、三台机器更改主机名

vim /etc/sysconfig/network

4、三台机器做主机名与IP地址的映射

vim /etc/hosts
192.168.52.100 node01.hadoop.com  node01
192.168.52.110 node02.hadoop.com  node02
192.168.52.120 node03.hadoop.com  node03

5、三台机器重启

reboot  -h  now

6、三台机器机器免密码登录

第一步：三台机器生成公钥与私钥
在三台机器执行以下命令，生成公钥与私钥

ssh-****** -t rsa

执行该命令之后，按下三个回车即可

第二步：拷贝公钥到同一台机器
三台机器将拷贝公钥到第一台机器
三台机器执行命令：

ssh-copy-id node01.hadoop.com

第三步：复制第一台机器的认证到其他机器
将第一台机器的公钥拷贝到其他机器上
在第一天机器上面指向以下命令

scp /root/.ssh/authorized_keys node02.hadoop.com:/root/.ssh
scp /root/.ssh/authorized_keys node03.hadoop.com:/root/.ssh

7、三台机器时钟同步

第一种同步方式：通过网络进行时钟同步
通过网络连接外网进行时钟同步,必须保证虚拟机连上外网

ntpdate us.pool.ntp.org;

阿里云时钟同步服务器

ntpdate ntp4.aliyun.com

三台机器定时任务

crontab  -e   
*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;

或者直接与阿里云服务器进行时钟同步

crontab -e
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

第二种时钟同步方式：通过某一台机器进行同步
以192.168.52.100这台服务器的时间为准进行时钟同步
第一步:确定是否安装了ntpd的服务

rpm -qa  | grep  ntpd

如果没有安装,可以进行在线安装

yum -y install ntpd

启动ntpd的服务

service  ntpd  start

设置ntpd的服务开机启动

chkconfig ntpd on

第二步:编辑/etc/ntp.conf
编辑第一台机器的

/etc/ntp.conf
vim /etc/ntp.conf

在文件中添加如下内容

restrict  192.168.52.0  mask  255.255.255.0  nomodify  notrap

注释一下四行内容

#server  0.centos.pool.ntp.org
#server  1.centos.pool.ntp.org
#server  2.centos.pool.ntp.org
#server  3.centos.pool.ntp.org

去掉以下内容的注释，如果没有这两行注释，那就自己添加上

server   127.127.1.0  #  local  clock
fudge    127.127.1.0  stratum  10

配置以下内容，保证BIOS与系统时间同步

vim  /etc/sysconfig/ntpd       

添加一行内容

SYNC_HWLOCK=yes     

第三步：另外两台机器与第一台机器时间同步
另外两台机器与192.168.52.100进行时钟同步

crontab  -e
*/1 * * * * /usr/sbin/ntpdate 192.168.52.100

8、三台机器安装jdk

查看自带的openjdk

rpm -qa | grep java

卸载系统自带的openjdk

rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64 --nodeps

上传jdk并解压然后配置环境变量
说明：为了保持我们的安装环境统一和一致，我们这里创建两个约定俗称的文件夹，来进行我们的软件包的存放和软件的安装
所有软件的安装路径

mkdir -p /export/servers

所有软件压缩包的存放路径

mkdir -p /export/softwares

上传jdk到/export/softwares路径下去，并解压

tar -zxvf jdk-8u141-linux-x64.tar.gz -C ../servers/

配置环境变量

vim /etc/profile
export JAVA_HOME=/export/servers/jdk1.8.0_141
export PATH=:$JAVA_HOME/bin:$PATH

修改完成之后记得 source /etc/profile生效