MapReduce本地模式使用教程

本地模式方便debug，推荐使用

做以下配置是可以在本地正常调试运行，出现问题的话可能是环境配置的问题：

1、替换本地hadoop根目录下的bin/、lib/，(解压默认是linux运行环境)，替换后如下图

2、配置环境变量，指定本地hadoop根目录、bin目录：

3、在程序中添加一下代码，更多配置，请查找.xml文件

// 本地模式：local ; 提交到yarn上就改为：yarn

conf.set("mapreduce.framework.name", "local");

// 本地模式下，输入输出数据在Hdfs上

conf.set("fs.defaultFS", "hdfs://192.168.217.10:9000/");

// 本地模式下，输入输出数据在本地磁盘

// conf.set("fs.defaultFS", "file:///");

4、本地模式下，输入输出数据在hdfs上需要在run configuration中指定hadoop用户(见下图);若输入输出数据在本地不用指定hadoop用户，但输入输出路径要修改为本地路径(如：C:\Users\ZYS\Desktop\flowsum\input)