hadoop2.9.0集群搭建

程序员文章站 2022-05-07 18:57:27

...

hadoop2.9.0集群搭建

本文主要介绍hadoop2.9.0的搭建。

本文主要参考：

官网指南

centos7 关闭防火墙

centos7 yum 切换成阿里源

centos7 ntp 服务安装，局域网同步

linux 安装java 配置环境变量

好，下面开始上货。

1、安装三台linux,ip分别为192.168.0.61 192.168.0.62 192.168.0.63

2、根据指南分别配置好防火墙、ntp、java环境变量、ssh（ssh-****** -t rsa ssh-copy-id [email protected]）。

3、下载hadoop2.9.0

下载地址

4、创建hadoop用户

useradd hadoop

passwd hadoop

5、解压hadoop2.9.0到指定目录，这里我解压到/usr/local

6、修改hadoop2.9.0的权限

chown -R hadoop:hadoop /usr/local/hadoop2.9.0

7、这里需要说明一下，hadoop安装成功后应该有哪些服务启动：

HDFS daemons are NameNode, SecondaryNameNode, and DataNode.

YARN daemons are ResourceManager, NodeManager, and WebAppProxy.

8、修改配置文件，主要修改的配置文件如下：

hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves

hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_141

hadoop-core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://cdh1:9000</value>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
</configuration>

hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/data/hadoop/namenode</value>
        </property>
        <property>
                <name>dfs.blocksize</name>
                <value>268435456</value>
        </property>
        <property>
                <name>dfs.namenode.handler.count</name>
                <value>100</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/data/hadoop/dfs/data</value>
        </property>

</configuration>

mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

masters

cdh1

slaves

cdh2
cdh3

9、为了启动方便，我们需要添加环境变量

vim /etc/profile

HADOOP_PREFIX=/usr/local/hadoop-2.9.0
export HADOOP_PREFIX
HADOOP_CONF_DIR=/usr/local/hadoop-2.9.0/etc/hadoop
export HADOOP_CONF_DIR
HADOOP_YARN_HOME=/usr/local/hadoop-2.9.0

10、现在可以把文件夹和对应的权限复制到cdh2和cdh3上。

11、启动hdfs

注意：第一次启动需要初始化：

$HADOOP_PREFIX/bin/hdfs namenode -format

启动的时候可以分开启动，也可以一起启动。分开启动需要分别启动namenode和datanode。

分开：

$HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode
$HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode

同时：

$HADOOP_PREFIX/sbin/start-dfs.sh

12、停止hdfs

停止的时候可以分开停止，也可以同时停止。

分开：

$HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs stop namenode
$HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs stop datanode

同时：

$HADOOP_PREFIX/sbin/stop-dfs.sh

13、启动yarn

启动yarn的时候可以分开启动，也可以同时启动。分开启动分别启动ResourceManager和NodeManager。

分开：

$HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager
$HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR start nodemanager
$HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver

同时：

$HADOOP_PREFIX/sbin/start-yarn.sh

14、停止yarn

停止yarn的时候可以分开停止，也可以同时。

分开：

$HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop resourcemanager
$HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR stop nodemanager

同时：