Hadoop(二) 单节点模式(本地模式)
程序员文章站
2022-03-27 08:35:10
...
Hadoop(二)
单节点模式(本地模式)
Hadoop单节点
注意
Hadoop的部署运行需要Java环境
单节点模式介绍
Hadoop 以一个 Java 进程的形态运行在非分布式模式下,这对于调试很有帮助,但是实际的开发和测试时,一般很少用本地模式
单节点部署
- 修改配置文件,配置java_home
vim <Hadoop安装目录>/etc/hadoop/hadoop-env.sh
找到export JAVA_HOME=${JAVA_HOME}
(大约在25行)
然后将自己的Java安装路径填上
export JAVA_HOME=/opt/jdk1.8.0_11
- 执行以下代码测试(在Hadoop的安装目录下)
bin/hadoop
出现以下内容说明配置成功
单节点官方测试案例
语法
<Hadoop安装目录>/bin/hadoop jar <jar包路径> <jar包的主类名> <输入文件夹路径> <输出文件夹路径> [参数]
注意
1. 输出文件路径一定要是一个不存在的路径,jar包在执行输出时,会自动创建这个目录
2. [参数]
在不同的功能中不同,根据实际方法传入不同的参数
举例 1 调用Hadoop自带的示例jar包,测试官方grep案例
- Hadoop的安装目录下创建一个
input
的文件夹
mkdir input
- 复制<Hadoop安装目录>/etc/hadoop/目录下所有的
.xml
文件到input目录
cp etc/hadoop/*.xml input
- 调用jar包
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar grep input output 'dfs[a-z.]+'
注意
dfs[a-z.]+
是一个准则表达式,这里作为控制台输入的参数传入grep的方法,grep的作用是在指定文件里找到符合准则表达式的单词
4.执行结束之后,查看output的内容
cat output/*
如果出现1 dfsadmin
,说明测试成功
举例 2 单词统计案例
- 同案例1,新建一个
wcinput
的文件夹,在里面新建一些文件,新编输入一些内容 - 执行命令
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount wcinput/ wcoutput
注意
1. 这里执行的jar包还是hadoop-mapreduce-examples-2.7.7.jar
,只不过主函数变为wordcount
,输出文件夹自定义一个不存在的目录即可
2. 这个案例的方法(wordcount),没有参数,所有不需要在控制台输入参数
s-2.7.7.jar,只不过主函数变为
wordcount`,输出文件夹自定义一个不存在的目录即可_
2. 这个案例的方法(wordcount),没有参数,所有不需要在控制台输入参数
- 查看输出文件夹的内容,这里我规定的是wcoutput