1. 大数据集群环境准备

 

1、三台虚拟机关闭防火墙

三台机器执行以下命令（root用户来执行）

service iptables stop

chkconfig iptables off

 

2、三台机器关闭selinux

vim /etc/selinux/config

3、三台机器更改主机名

vim /etc/sysconfig/network

 

 

4、三台机器做主机名与ip地址的映射

vim /etc/hosts

192.168.221.100 node01.hadoop.com  node01

192.168.221.110 node02.hadoop.com  node02

192.168.221.120 node03.hadoop.com  node03

 

5、三台机器重启

reboot  -h  now

6、三台机器机器免密码登录

第一步：三台机器生成公钥与私钥

在三台机器执行以下命令，生成公钥与私钥

ssh-keygen -t rsa

执行该命令之后，按下三个回车即可

 

第二步：拷贝公钥到同一台机器

三台机器将拷贝公钥到第一台机器

三台机器执行命令：

ssh-copy-id node01.hadoop.com

第三步：复制第一台机器的认证到其他机器

将第一台机器的公钥拷贝到其他机器上

在第一天机器上面指向以下命令

scp /root/.ssh/authorized_keys node02.hadoop.com:/root/.ssh

scp /root/.ssh/authorized_keys node03.hadoop.com:/root/.ssh

7、三台机器时钟同步

第一种同步方式：通过网络进行时钟同步

通过网络连接外网进行时钟同步,必须保证虚拟机连上外网

ntpdate us.pool.ntp.org;

阿里云时钟同步服务器

ntpdate ntp4.aliyun.com

三台机器定时任务

crontab  -e  

*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;

或者直接与阿里云服务器进行时钟同步

crontab -e

*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

 

第二种时钟同步方式：通过某一台机器进行同步

以192.168.221.100这台服务器的时间为准进行时钟同步

第一步:确定是否安装了ntpd的服务

rpm -qa  | grep  ntpd

如果没有安装,可以进行在线安装

yum -y install ntpd

启动ntpd的服务

service  ntpd  start

设置ntpd的服务开机启动

chkconfig ntpd on

第二步:编辑/etc/ntp.conf

编辑第一台机器的/etc/ntp.conf

vim /etc/ntp.conf

在文件中添加如下内容

restrict  192.168.221.0  mask  255.255.255.0  nomodify  notrap

注释一下四行内容

#server  0.centos.pool.ntp.org

#server  1.centos.pool.ntp.org

#server  2.centos.pool.ntp.org

#server  3.centos.pool.ntp.org

去掉以下内容的注释，如果没有这两行注释，那就自己添加上

server   127.127.1.0  #  local  clock

fudge    127.127.1.0  stratum  10

配置以下内容，保证bios与系统时间同步

vim  /etc/sysconfig/ntpd      

添加一行内容 

sync_hwlock=yes       

第三步：另外两台机器与第一台机器时间同步

另外两台机器与192.168.221.100进行时钟同步

crontab  -e

*/1 * * * * /usr/sbin/ntpdate 192.168.221.100

 

7、三台机器时钟同步

#查看自带的

openjdk [root@node01 ~]# rpm -qa | grep java

#如果有就卸载

[root@node01 ~]# rpm -e jdk的名称

#创建两个约定俗称的文件夹，来进行我们的软件包的存放和软件的安装

所有软件的安装路径

mkdir -p /usr/local/java

所有软件压缩包的存放路径

mkdir -p /usr/local/software

#上传jdk到software目录,并解压

root@node02 ~# tar -zxvf jdk-8u181-linux-x64.tar.gz -c /usr/local/java

#配置java环境变量,在文档末尾追加

vim /etc/profile

#配置java环境变量

export java_home=/usr/local/java/jdk1.8.0_181

export path=:$java_home/bin:$path

 

#编译

source /etc/profile

#测试

[root@node01 software]# java -version

java version "1.8.0_181" java(tm) se runtime environment (build 1.8.0_181-b13) java hotspot(tm) 64-bit server vm (build 25.181-b13, mixed mode) 表示安装成功