hadoop伪分布式的搭建

程序员文章站 2022-07-14 17:59:45

...

hadoop伪分布式的搭建：在同一台机器上部署hadoop的namenode、datanode、decondarynamenode节点。

一、下载并解压hadoop

hadoop-3.2.1版本解压包：前往百度网盘下载，提取码：74zx

1、下载好后，输入如下命令对压缩包进行解压。
tar -zxvf hadoop-3.2.1.tar.gz

2、设置环境变量，输入如下命令对系统环境变量进行编辑
vim /etc/profile

在文档末尾处，添加如下配置信息

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后保存退出，输入source /etc/profile命令使刚才配置的环境变量生效

3、验证配置效果，输入hadoop version命令，如果显示出了如下信息，那么恭喜你，配置成功了。
hadoop伪分布式的搭建

二、开启伪分布式的搭建

伪分布式，就是把hdfs的namenode,datanode,secondarynamenode放在同一台机器上提供分布式服务。

1、输入 vim /usr/local/hadoop-3.2.1/etc/hadoop/core-site.xml来编辑该文件，输入如下配置项。(注意：你需要对这个路径做必要的修改)

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

2、输入vim /usr/local/hadoop-3.2.1/etc/hadoop/hdfs-site.xml来编辑该文件，输入如下配置项：(注意：你需要对这个路径做必要的修改)

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.http.address</name>
                <value>0.0.0.0:5700</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:///root/hadoop/dfs/namenode</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///root/hadoop/dfs/datanode</value>
        </property>
</configuration>

3、创建输出文件夹/root/hadoop/dfs，输入如下命令即可。

cd
mkdir hadoop
cd hadoop
mkdir dfs

4、输入hdfs namenode -format对hadoop进行初始化

5、修改用户配置权限
输入vim /usr/local/hadoop-3.2.1/sbin/start-dfs.sh对该脚本文件进行编辑，在空白处添加如下信息：(注意：你需要对这个路径做必要的修改)

HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

6、指定JAVA_HOME
输入vim /usr/local/hadoop-3.2.1/etc/hadoop/hadoop-env.sh，在空白处添加如下信息即可：(注意：你需要对这个路径做必要的修改)

JAVA_HOME=/usr/local/java/jdk1.8.0_161/

7、设置免密登陆操作

ssh-******
cd /root/.ssh
cat id_rsa.pub >> authorized_keys

三、开启服务，并访问

输入start-dfs.sh即可开启服务，开启后输入jps查看开启情况如下：
hadoop伪分布式的搭建
在浏览器中输入192.168.181.129:5700（该机器的IP地址加5700端口），即可访问该服务启动情况。

如果访问失败，建议关闭防火墙，下面列出防火墙操作的相关命令：
查看防火墙状态：systemctl status firewalld.service
关闭防火墙（下次开机启动）：systemctl stop firewalld.service
让防火墙失效（下次开机不启动）：systemctl disable firewalld.service

hadoop伪分布式的搭建