Hadoop——MR与RM HA部署
本节目标：
1、掌握MR的搭建步骤
2、掌握RM HA的部署
本节在HDFS HA部署基础上完成。
节点部署情况：
|
|
NN |
DN |
JN |
ZK |
ZKFC |
RM |
NM |
|
master(192.168.85.10) |
l |
|
|
l |
l |
|
|
|
slave1(192.168.85.11) |
l |
l |
l |
l |
l |
|
l |
|
slave2(192.168.85.12) |
|
l |
l |
l |
|
l |
l |
|
slave3(192.168.85.13) |
|
l |
l |
|
|
1 |
l |
1、将mapred-site.xml模板改名
2、mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
3、yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>RMHA</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>slave2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>slave3</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>slave2:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>slave3:8088</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>master:2181,slavee1:2181,slave2:2181</value>
</property>
4、同步到其他节点
scp ./*.xml slave1:/usr/local/src/hadoop-2.7.6/etc/hadoop
5.启动集群
先启动zk
start-all.sh
6、RM节点启动
yarn-daemon.sh start resourcemanager
7、查看RM后台8088端口是否开启
netstat -npl
8、webUI检查
slave2:8088
slave3:8088
8、测试RM HA是否有效：分别在slave2，slave3节点上执行，yarn-daemon.sh stop resourcemanager，检测RM是否自动切换.
也可以查看当前 RM 的 active 和 standby 状态
yarn rmadmin -getServiceState rm1
yarn rmadmin -getServiceState rm2
从以上配置过程可以看出，salves 文件既是DN的配置文件，也是NM的配置文件。
eclipse操作HDFS时注意：
8020端口是在hdfs-site.xml配置的。
更新src目录下的core-site.xml、hdfs-site.xml配置文件。
更多细节参考官方文档中core-default.xml、hdfs-default.xml、mapred-default.xml、yarn-default.xml、以及RM HA配置