Hadoop2.8.1完全分布式环境搭建过程
前言
本文搭建了一个由三节点（master、slave1、slave2）构成的hadoop完全分布式集群（区别单节点伪分布式集群），并通过hadoop分布式计算的一个示例测试集群的正确性。
本文集群三个节点基于三台虚拟机进行搭建，节点安装的操作系统为centos7（yum源），hadoop版本选取为2.8.0。作者也是初次搭建hadoop集群，其间遇到了很多问题，故希望通过该博客让读者避免。
实验过程
1、基础集群的搭建
目的：获得一个可以互相通信的三节点集群
下载并安装vmware workstation pro（支持快照，方便对集群进行保存），产品激活序列号网上自行查找。
下载centos7镜像，下载地址。
使用vmware安装master节点（稍后其他两个节点可以通过复制master节点的虚拟机文件创建）。
三个节点存储均为30g默认安装，master节点内存大小为2gb，双核，slave节点内存大小1gb，单核
2、集群网络配置
目的：为了使得集群既能互相之间进行通信，又能够进行外网通信，需要为节点添加两张网卡（可以在虚拟机启动的时候另外添加一张网卡，即网络适配器，也可以在节点创建之后，在vmware设置中添加）。
两张网卡上网方式均采用桥接模式，外网ip设置为自动获取（通过此网卡进行外网访问，配置应该按照你当前主机的上网方式进行合理配置，如果不与主机通信的话可以采用nat上网方式，这样选取默认配置就行），内网ip设置为静态ip。
本文中的集群网络环境配置如下:
master内网ip：192.168.1.100
slave1内网ip：192.168.1.101
slave2内网ip：192.168.1.102
设置完后，可以通过ping进行网络测试
注意事项：通过虚拟机文件复制，在vmware改名快速创建slave1和slave2后，可能会产生网卡mac地址重复的问题，需要在vmware网卡设置中重新生成mac，在虚拟机复制后需要更改内网网卡的ip。
每次虚拟机重启后，网卡可能没有自动启动，需要手动重新连接。
3、集群ssh免密登陆设置
目的：创建一个可以ssh免密登陆的集群
3.1 创建hadoop用户
为三个节点分别创建相同的用户hadoop，并在以后的操作均在此用户下操作，操作如下：
$su -
#useradd -m hadoop
#passwd hadoop
为hadoop添加sudo权限
#visudo
在该行root all=(all) all下添加hadoop all=(all) all保存后退出，并切换回hadoop用户
#su hadoop
注意事项：三个节点的用户名必须相同，不然以后会对后面ssh及hadoop集群搭建产生巨大影响
3.2 hosts文件设置
为了不直接使用ip，可以通过设置hosts文件达到ssh slave1这样的的效果（三个节点设置相同）
$sudo vim /etc/hosts
在文件尾部添加如下行，保存后退出：
192.168.1.100 master
192.168.1.101 slave1
192.168.1.102 slave2
注意事项：不要在127.0.0.1后面添加主机名，如果加了master，会造成后面hadoop的一个很坑的问题，在slave节点应该解析出masterip的时候解析出127.0.0.1，造成hadoop搭建完全正确，但是系统显示可用节点一直为0。
3.3 hostname修改
centos7默认的hostname是localhost，为了方便将每个节点hostname分别修改为master、slave1、slave2（以下以master节点为例）。
$sudo hostnamectl set-hostname master
重启terminal，然后查看：$hostname
3.3 ssh设置
设置master节点和两个slave节点之间的双向ssh免密通信，下面以master节点ssh免密登陆slave节点设置为例，进行ssh设置介绍（以下操作均在master机器上操作）：
首先生成master的rsa密钥：$ssh-keygen -t rsa
设置全部采用默认值进行回车
将生成的rsa追加写入授权文件：$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
给授权文件权限：$chmod 600 ~/.ssh/authorized_keys
进行本机ssh测试：$ssh maste r正常免密登陆后所有的ssh第一次都需要密码，此后都不需要密码
将master上的authorized_keys传到slave1
sudo scp ~/.ssh/id_rsa.pubhadoop@slave1:~/
登陆到slave1操作：$ssh slave1输入密码登陆
$cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
修改authorized_keys权限：$chmod 600 ~/.ssh/authorized_keys
退出slave1：$exit
进行免密ssh登陆测试：$ssh slave1
4、java安装
目的：hadoop是基于java的，所以要安装配置java环境（三个节点均需要操作，以下以master节点为例）
下载并安装：$sudo yum install java-1.8.0-openjdkjava-1.8.0-openjdk-devel
验证是否安装完成：$java -version
配置环境变量，修改~/.bashrc文件，添加行： export java_home=/usr/lib/jvm/java-1.8.0
使环境变量生效：$source ~/.bashrc
5、hadoop安装配置
目的：获得正确配置的完全分布式hadoop集群（以下操作均在master主机下操作）
安装前三台节点都需要需要关闭防火墙和selinux
$sudo systemctl stop firewalld.service $sudo systemctl disable firewalld.service $sudo vim /usr/sbin/sestatus
将selinux status参数设定为关闭状态
selinux status: disabled
5.1 hadoop安装
首先在master节点进行hadoop安装配置，之后使用scp传到slave1和slave2。
下载hadoop二进制源码至master，，并将其解压在~/ 主目录下
$tar -zxvf ~/hadoop-2.8.1.tar.gz -c ~/
$mv~/hadoop-2.8.1/* ~/hadoop/
注意事项：hadoop有32位和64位之分，官网默认二进制安装文件是32位的，但是本文操作系统是64位，会在后面hadoop集群使用中产生一个warning但是不影响正常操作。
5.2 hadoop的master节点配置
配置hadoop的配置文件core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml slaves（都在~/hadoop/etc/hadoop文件夹下）
$cd ~/hadoop/etc/hadoop
$vimcore-site.xml其他文件相同，以下为配置文件内容：
1.core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/hadoop/tmp</value> </property> </configuration>
2.hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/hadoop/tmp/dfs/data</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> </configuration>
3.mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
4.yarn-site.xml
<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property> </configuration>
5.slaves
slave1
slave2
5.3 hadoop的其他节点配置
此步骤的所有操作仍然是在master节点上操作，以master节点在slave1节点上配置为例
复制hadoop文件至slave1：$scp -r ~/hadoop hadoop@slave1:~/
5.4 hadoop环境变量配置
配置环境变量，修改~/.bashrc文件，添加行（每个节点都需要此步操作，以master节点为例）：
#hadoop environment vars export hadoop_home=/home/hadoop/hadoop export hadoop_install=$hadoop_home export hadoop_mapred_home=$hadoop_home export hadoop_common_home=$hadoop_home export hadoop_hdfs_home=$hadoop_home export yarn_home=$hadoop_home export hadoop_common_lib_native_dir=$hadoop_home/lib/native export path=$path:$hadoop_home/sbin:$hadoop_home/bin
使环境变量生效：$source ~/.bashrc
6、hadoop启动
格式化namenode：$hadoop namenode -format
启动hadoop：$start-all.sh
master节点查看启动情况：$jps
slave1节点查看启动情况：$jps
slave2节点查看启动情况：$jps
web浏览器输入127.0.0.1:50070，查看管理界面
7、hadoop集群测试
目的：验证当前hadoop集群正确安装配置
本次测试用例为利用mapreduce实现wordcount程序
生成文件testwordcount：$echo "my name is xie pengcheng. this is a example program called wordcount, run by xie pengcheng " >>testwordcount
创建hadoop文件夹wordcountinput：$hadoop fs -mkdir /wordcountinput
将文件testwordcount上传至wordcountinput文件夹：$hadoop fs -puttestwordcount/wordcountinput
执行wordcount程序，并将结果放入wordcountoutput文件夹：$hadoop jar ~/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount /wordcountinput /wordcountoutput
注意事项：/wordcountoutput文件夹必须是没有创建过的文件夹
查看生成文件夹下的文件：$hadoop fs -ls /wordcountoutput
在output/part-r-00000可以看到程序执行结果：$hadoop fs -cat /wordcountoutpart-r-00000
总结
以上所述是小编给大家介绍的hadoop2.8.1完全分布式环境搭建过程，希望对大家有所帮助