欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Hadoop 2.x配置及简单MapReduce案例

程序员文章站 2022-06-25 12:13:36
...

去官网下载压缩包

配置jdk(hadoop运行在java环境上)

Hadoop 2.x基本配置及运行MapReduce案例在本地模式下

在hadoop文件下

mkdir input
cp etc/hadoop/*.xml input/
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar grep input output 'dfs[a-z.]+'
cat output/part-r-00000 


##小案例
mkdir wcinput
cd wcinput/
touch wc.input
vi wc.input 
    hadoop mapreduce
    hadoop hdfs
    yaen nodemanger
    hadoop resourcemanager
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar woedcount wcinput wcoutputeduce-examples-2.5.0.jar wordcount wcinput wcoutput

Hadoop 2.x配置及简单MapReduce案例

配置部署启动HDFS及本地模式运行MapReduce案例(使用HDFS上数据)

修改主机名:

vi /etc/sysconfig/network
vi /etc/hosts
/etc/rc.d/init.d/network restart

Hadoop 2.x配置及简单MapReduce案例

修改/opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml
Hadoop 2.x配置及简单MapReduce案例
修改/opt/modules/hadoop-2.5.0/etc/hadoop/hdfs-site.xml
Hadoop 2.x配置及简单MapReduce案例

格式化hdfs

bin/hdfs namenode -format

启动主节点

sbin/hadoop-daemon.sh start namenode

启动从节点

sbin/hadoop-daemon.sh start datanode

查看hadoop控制台
Hadoop 2.x配置及简单MapReduce案例

新增hdfs文件

bin/hdfs dfs -mkdir -p /user/beifeng/

查询hdfs文件

bin/hdfs dfs -ls -R /

hdfs上传文件

bin/hdfs dfs -put wcinput/wc.input /user/beifeng/mapreduce/wordcount/input/

运行MapReduce程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar woedcount /user/beifeng/mapreduce/wordcount/input/ /user/beifeng/mapreduce/wordcount/output

查看运行结果

bin/hdfs dfs -cat /user/beifeng/mapreduce/wordcount/output/part*

配置部署启动YARN及在YARN上运行MapReduce程序

配置yarn-site.xml

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>min</value>
        </property>

</configuration>

配置slaves

vi etc/hadoop/slaves 

min

启动:

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

访问:
Hadoop 2.x配置及简单MapReduce案例

配置mapred-env.sh

vi etc/hadoop/mapred-env.sh 
##修改jdk配置路径
export JAVA_HOME=/usr/java/jdk1.8.0_11

历史任务服务器启动

sbin/mr-jobhistory-daemon.sh start historyserver

Hadoop 2.x配置及简单MapReduce案例

YARN的日志聚集功能配置使用

日志聚集功能配置
Hadoop 2.x配置及简单MapReduce案例

停止resourcemanager

sbin/yarn-daemon.sh stop resourcemanager

停止noderesourcemanager

sbin/yarn-daemon.sh stop nodemanager

停止历史任务服务器

sbin//mr-jobhistory-daemon.sh stop historyserver

Hadoop 2.x配置及简单MapReduce案例

启动resourcemanager、resourcemanager、历史任务服务器
Hadoop 2.x配置及简单MapReduce案例

查看log日志
Hadoop 2.x配置及简单MapReduce案例

配置HDFS垃圾回收

vi etc/hadoop/core-site.xml 

Hadoop 2.x配置及简单MapReduce案例

Hadoop 2.x配置及简单MapReduce案例

Hadoop 2.x组件启动的三种方式及配置SSH无密码登录

Hadoop 2.x配置及简单MapReduce案例
不建议用下面这种
Hadoop 2.x配置及简单MapReduce案例

配置SSH无密码登录

cd
cd .ssh
ssh-****** -t rsa
ssh-copy-id min

Hadoop 2.x配置及简单MapReduce案例

配置namenode第二个节点

vi etc/hadoop/hdfs-site.xml

Hadoop 2.x配置及简单MapReduce案例

配置历史服务器

vi etc/hadoop/mapred-site.xml

Hadoop 2.x配置及简单MapReduce案例