欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Hadoop(二) 单节点模式(本地模式)

程序员文章站 2022-03-27 08:35:10
...

Hadoop(二)
单节点模式(本地模式)

Hadoop单节点

注意

Hadoop的部署运行需要Java环境

单节点模式介绍

Hadoop 以一个 Java 进程的形态运行在非分布式模式下,这对于调试很有帮助,但是实际的开发和测试时,一般很少用本地模式

单节点部署

  1. 修改配置文件,配置java_home
vim <Hadoop安装目录>/etc/hadoop/hadoop-env.sh

找到export JAVA_HOME=${JAVA_HOME}(大约在25行)

然后将自己的Java安装路径填上

export JAVA_HOME=/opt/jdk1.8.0_11
  1. 执行以下代码测试(在Hadoop的安装目录下)
bin/hadoop

出现以下内容说明配置成功
Hadoop(二) 单节点模式(本地模式)

单节点官方测试案例

语法

<Hadoop安装目录>/bin/hadoop jar <jar包路径> <jar包的主类名> <输入文件夹路径> <输出文件夹路径> [参数]

注意

1. 输出文件路径一定要是一个不存在的路径,jar包在执行输出时,会自动创建这个目录

2. [参数]在不同的功能中不同,根据实际方法传入不同的参数

举例 1 调用Hadoop自带的示例jar包,测试官方grep案例

  1. Hadoop的安装目录下创建一个input的文件夹
mkdir input
  1. 复制<Hadoop安装目录>/etc/hadoop/目录下所有的.xml文件到input目录
cp etc/hadoop/*.xml input
  1. 调用jar包
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar grep input output 'dfs[a-z.]+'

注意

dfs[a-z.]+是一个准则表达式,这里作为控制台输入的参数传入grep的方法,grep的作用是在指定文件里找到符合准则表达式的单词

4.执行结束之后,查看output的内容

cat output/*

如果出现1 dfsadmin,说明测试成功

举例 2 单词统计案例

  1. 同案例1,新建一个wcinput的文件夹,在里面新建一些文件,新编输入一些内容
  2. 执行命令
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount wcinput/ wcoutput

注意

1. 这里执行的jar包还是hadoop-mapreduce-examples-2.7.7.jar,只不过主函数变为wordcount,输出文件夹自定义一个不存在的目录即可

2. 这个案例的方法(wordcount),没有参数,所有不需要在控制台输入参数

s-2.7.7.jar,只不过主函数变为wordcount`,输出文件夹自定义一个不存在的目录即可_

2. 这个案例的方法(wordcount),没有参数,所有不需要在控制台输入参数

  1. 查看输出文件夹的内容,这里我规定的是wcoutput