欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Hadoop2.7.3在centos7上的单机版安装部署

程序员文章站 2022-07-14 16:35:55
...

1、使用到的工具版本说明:

    centos版本:CentOS-7.4-x86_64-DVD-1708.iso
    JDK版本:jdk-8u231-linux-x64.tar.gz
    Hadoop版本:hadoop-2.7.3.tar.gz
    
    https://archive.apache.org/dist/hadoop/common/

Hadoop2.7.3在centos7上的单机版安装部署

    ![在这里插入图片描述](https://img-blog.csdnimg.cn/20201017131939971.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l0YW5nZGlnbA==,size_16,color_FFFFFF,t_70#pic_center)

2、环境准备

2.1 安装centos

参考:在VirtualBox中安装CentOS7详解(Mac版)

2.2 关闭防火墙

# 停止firewall
systemctl stop firewalld.service

# 禁止firewall开机启动
systemctl disable firewalld.service

2.3 配置SSH免密码登录

ssh-****** -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

Hadoop2.7.3在centos7上的单机版安装部署

2.4 安装jdk

参考:Centos服务器上安装jdk
Hadoop2.7.3在centos7上的单机版安装部署

3、安装Hadoop2.7.3

3.1 在/usr/目录下新建目录hadoop,将hadoop-2.7.3.tar.gz安装包上传到hadoop目录下,并解压

tar -zxvf hadoop-2.7.3.tar.gz

执行以下语句创建相应的目录:

mkdir -p /usr/hadoop/tmp/
mkdir -p /usr/hadoop/hdfs/
mkdir -p /usr/hadoop/hdfs/data/
mkdir -p /usr/hadoop/hdfs/name/

Hadoop2.7.3在centos7上的单机版安装部署

3.2 配置hadoop环境变量

vi /etc/profile

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin

执行source /etc/profile使之生效

3.3 修改/usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh 文件的java环境,将java安装路径加进去:

export JAVA_HOME=/usr/java/jdk1.8.0_231

Hadoop2.7.3在centos7上的单机版安装部署

3.4 修改/usr/hadoop/hadoop2.7.3/etc/hadoop/core-site.xml 文件

<configuration>
    <!-- 指定HDFS老大(namenode)的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.1.9:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
    </property>
</configuration>

3.5 修改/usr/hadoop/hadoop2.7.3/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
    	<name>dfs.name.dir</name>
    	<value>/usr/hadoop/hdfs/name</value>
    	<description>namenode上存储hdfs名字空间元数据 </description> 
    </property>

    <property>
        <name>dfs.data.dir</name>
        <value>/usr/hadoop/hdfs/data</value>
        <description>datanode上数据块的物理存储位置</description>
    </property>
    
    <!-- 设置hdfs副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3.6 接下来配置yarn文件. 配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml ,这里注意一下,hadoop里面默认是mapred-site.xml.template 文件,如果配置yarn,把mapred-site.xml.template 重命名为mapred-site.xml 。

mv mapred-site.xml.template mapred-site.xml
<configuration>
    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

3.7 配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml文件

<configuration>
    <!-- reducer取数据的方式是mapreduce_shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

3.8 格式化hdfs

cd /usr/hadoop/hadoop-2.7.3
./bin/hdfs namenode -format

3.9 hdfs启动与停止

# 启动hdfs
./sbin/start-dfs.sh

# 停止hdfs
./sbin/stop-dfs.sh

Hadoop2.7.3在centos7上的单机版安装部署
浏览器中输入:http://192.168.1.9:50070/
Hadoop2.7.3在centos7上的单机版安装部署

3.10 yarn启动与停止

# 启动yarn
./sbin/start-yarn.sh

# 停止yarn
./sbin/stop-yarn.sh

浏览器中输入:http://192.168.1.9:8088
Hadoop2.7.3在centos7上的单机版安装部署