Hadoop分布式集群搭建

 

 

1、前期准备条件，三台主机：master，slave1，slave2

2、三台机器在集群中所担任的角色：

    master:namenode,datanode,nodemanager,historyserver

    slave1:resoucemanaer,datanode,nodemanager

    slave2:secondaryname,datanode,nodemanager

3、指定Java的安装路径，配置*-env.sh文件（hadoop-env.sh/mapred-env.sh/yarn-env.sh）

    export JAVA_HOME=/opt/java/jdk1.7.0_80

 

 

4、配置core-site.xml

    

5、配置hdfs-site.xml

    

6、配置yarn-site.xml

    

 

7、配置mapred-site.xml

    

8、配置slaves

    master.cdh.com

    slave1.cdh.com

    slave2.cdh.com

9、分发到各个节点

    scp -r /opt/cdh5.14.2/hadoop-2.6.0/ slave1.cdh.com:/opt/cdh5.14.2/

10、格式化namenode

    在主节点执行就可以：# bin/hdfs namenode -format

11、在master主机上启动:sbin/start-dfs.sh   sbin/start-yarn.sh

        发现唯独配置在slave1上的resourcemanager没有启动。

        搜索后发现如下解释：

        

                        修改yarn-site.xml：

                        

                    

12、在master主机上启动:sbin/start-dfs.sh   sbin/start-yarn.sh

            master:

                        

           slave1:

                        

            slave2:

                        

 

            在浏览器分别打开：http://master.cdh.com:50070     http://master.cdh.com:8088

            页面如下：