欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Hadoop伪分布式的搭建

程序员文章站 2022-07-14 15:26:02
...

这里我使用的hadoop的版本为hadoop2.5.0-cdh5.3.6。传送门:下载地址

安装步骤:
1.创建用户,使用hadoop用户
2.修改主机名以及ssh免密码登录
3.jdk安装

4.hadoop安装

1.1步骤:
1. 使用useradd hadoop添加用户
2. 使用passwd hadoop设置用户密码,密码自拟
3. 给用户赋予使用sudo命令的权限。
4. chmod u+w /etc/sudoers
6. vim /etc/sudoers
7. 在root ALL=(ALL) ALL下面加上一行hadoop ALL=(ALL) ALL。(分隔的是制表符)

8. chmod u-w /etc/sudoers

2.1Hadoop环境搭建-修改主机名以及ssh免密码登录

步骤:(使用hadoop用户登录)
    1. 使用sudo hostname hadoop修改主机名,当前生效,重启后失效。
    2. 使用vim /etc/sysconfig/network修改主机名,重启生效。
    3. 在/etc/hosts文件中添加主机名对于的ip地址。
    4. 使用ssh-****** -t rsa生成ssh秘钥。dsa
    5. 进入.ssh文件夹,创建authorized_keys文件,并将id_rsa.pub的内容添加到文件中去,修改文件权限为600(必须)。

    6. ssh hh验证

Hadoop伪分布式的搭建

Hadoop伪分布式的搭建

3.1步骤:
    1. 复制jdk压缩包到softs文件夹中
    2. 解压tar -zxvf softs/jdk-7u79-linux-x64.tar.gz
    3. 创建软连接sudo ln -s /home/hadoop/bigdater/jdk1.7.0_79 /usr/local/jdk   
    4. 配置相关环境变量vim ~/.bash_profile: JAVA_HOME, CLASSPATH, PATH。全局生效配置文件/etc/profile。
    5. 使环境变量生效 source ~/.bash_profile

    7. 验证java version/ javac version

Hadoop伪分布式的搭建

Hadoop伪分布式的搭建

4.1Hadoop环境搭建-hadoop安装

步骤:
    1. 下载hadoop安装包并复制到到softs文件夹中。
    2. 解压tar -zxvf softs/hadoop-2.5.0-cdh5.3.6.tar.gz,并创建数据保存文件hdfs(~/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/)。
    3. 配置hadoop-env.sh mapred-env.sh yarn-env.sh文件
    4. 配置基本环境变量core-site.xml文件
    5. 配置hdfs相关变量hdfs-site.xml文件
    7. 配置mapre相关环境变量mapred-site.xml文件
    8. 配置yarn相关环境变量yarn-site.xml文件
    9. 配置datanode相关变量slaves文件

    10. 配置hadoop相关环境变量

4.11 编辑文件hadoop-env.sh

Hadoop伪分布式的搭建

Hadoop伪分布式的搭建

4.12  mapred-env.sh

Hadoop伪分布式的搭建

4.13  yarn-env.sh

Hadoop伪分布式的搭建

4.14  core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop:8020</value>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/softs/hadoop-2.5.0-cdh5.3.6/hdfs/tmp</value>
        </property>
</configuration>

4.15  hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/softs/hadoop-2.5.0-cdh5.3.6/hdfs/name</value>
                <description> namenode 用来持续存放命名空间和交换日志的本地文件系统路径 </description>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/local/softs/hadoop-2.5.0-cdh5.3.6/hdfs/data</value>
                <description> DataNode 在本地存放块文件的目录列表,用逗号分隔 </description>
        </property>
        <property>
                 <name>dfs.replication</name>
                 <value>1</value>
                 <description> 设定 HDFS 存储文件的副本个数,默认为1</description>
        </property>
        <property>
                <name>dfs.permissions.enabled</name>
                <value>false</value>
        </property>
</configuration>

4.16 mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

4.17  yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                 <value>mapreduce_shuffle</value>
        </property>
</configuration>

4.18 修改slaves文件 

    将文件的内容修改为 主机名称

4.19配置hadoop相关环境变量(vim /etc/profile)

#hadoop
export HADOOP_HOME=/usr/local/softs/hadoop-2.5.0-cdh5.3.6/
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_PREFIX
export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
export HADOOP_HDFS_HOME=$HADOOP_PREFIX
export HADOOP_MAPRED_HOME=$HADOOP_PREFIX
export HADOOP_YARN_HOME=$HADOOP_PREFIX
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5. Hadoop环境搭建-hadoop启动

步骤:
    1. 第一次启动hadoop之前需要格式化namenode节点,命令为hadoop namenode -format。
    2. 两种方式启动start-all.sh或者start-hdfs.sh start-yarn.sh。

    3. 查看是否启动成功。

6.Hadoop环境搭建-验证hadoop是否启动成功

步骤:
    1. 验证hadoop是否启动成功有两种方式,第一种:通过jps命令查看hadoop的进行是否启动,第二种:查看web界面是否启动显示正常内容。
     2. 验证hadoop对应的yarn(MapReduce)框架是否启动成功:直接运行hadoop自带的example程序。
使用hadoop自带的mapreduce程序验证:/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar
将文件内容添加上去后执行:hadoop jar hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /test.txt output/1234