hadoop-eclipse插件编译

参考文章：http://www.360doc.com/content/16/0227/18/10529016_537828949.shtml，

配置修改：http://blog.csdn.net/loliaryx/article/details/79125444

本文基于以上两篇文章和自己的实际操作整理，之前没有成功就是因为没有进行“hadoop2x-eclipse-plugin”配置修改：

1.环境:

win7 64位，hadoop2.7.5,JDK1.8.0_162，ant1.9.10，eclipse(Mars.1 Release (4.5.1))

 Hadoop2.x之后没有Eclipse插件工具，我们就不能在Eclipse 上调试代码，我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行，所以这种不方便我们调试代码，所以我们自己编译一个 Eclipse插件，方便我们在我们本地上调试，经过hadoop1.x的发展，编译hadoop2.x版本的eclipse插件比之前简单多了。接下来 我 们开始编译Hadoop-eclipse-plugin插件，并在Eclipse开发Hadoop。

2.下载安装ant

http://ant.apache.org/bindownload.cgi

解压后

配置环境变量：

在计算机-》右键-》属性-》高级系统设置-》高级-》环境变量-》系统变量新建变量

ANT_HOME

D:\apache-ant-1.9.10

PATH末尾添加

%ANT_HOME%\bin;

 

3.hadoop下载

从官网下载Hadoop最新版2.7.5

http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz

解压

4.下载hadoop2x-eclipse-plugin源码

https://github.com/winghc/hadoop2x-eclipse-plugin然后点击Download ZIP进行下载

解压：D:\hadoop2x-eclipse-plugin-master-master

修改相关文件, 主要有两个,

一个是 hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/build.xml , 第二个是 hadoop2x-eclipse-plugin-master/ivy/libraries.properties     

4.1 修改build.xml     

1.在第81行 找到 <!-- Override jar target to specify manifest --> ,

在第82行 找到 <target name="jar" depends="compile" unless="skip.contrib">标签,添加和修改copy子标签标签一下内容, 也就是127行下面, 如下 ( 删除第127行 <copy file="${hadoop.home}/share/hadoop/common/lib/htrace-core-${htrace.version}.jar"  todir="${build.dir}/lib" verbose="true"/> , 添加下面3行 ) <copy  file="${hadoop.home}/share/hadoop/common/lib/htrace-core-${htrace.version}-incubating.jar"  todir="${build.dir}/lib" verbose="true"/> <copy  file="${hadoop.home}/share/hadoop/common/lib/servlet-api-${servlet-api.version}.jar"  todir="${build.dir}/lib" verbose="true"/> <copy  file="${hadoop.home}/share/hadoop/common/lib/commons-io-${commons-io.version}.jar"  todir="${build.dir}/lib" verbose="true"/>

然后找到标签<attribute name="Bundle-ClassPath"  ( 在修改之前的配置文件 build.xml 第133行 )在齐总的value的列表中对应的添加和修改lib,如下 ( 删除第154行 lib/htrace-core-${htrace.version}.jar, 添加下面3行 ) lib/servlet-api-${servlet-api.version}.jar,  lib/commons-io-${commons-io.version}.jar,  lib/htrace-core-${htrace.version}-incubating.jar"/>    

4.2 修改 hadoop2x-eclipse-plugin-master/ivy/libraries.properties       

此步骤要根据实际情况修改（D:\hadoop2x-eclipse-plugin-master-master\build\ivy\lib\eclipse-plugin\common 中有下面的包，修改为相对应jar的版本即可）           

#hadoop.version=2.6.0    modify           

hadoop.version=2.7.5          

#commons-collections.version=3.2.1    modify

commons-collections.version=3.2.2

#commons-httpclient.version=3.0.1    modify

commons-httpclient.version=3.1

#commons-logging.version=1.0.4        modify

 commons-logging.version=1.1.3

 #commons-logging-api.version=1.0.4    modify
commons-logging-api.version=1.1.3
 #commons-math.version=2.1    modify
 commons-math.version=3.1.1
 #commons-io.version=2.1        modify
commons-io.version=2.4
#hsqldb.version=1.8.0.10    modify
 hsqldb.version=2.0.0
#htrace.version=3.0.4    modify
 htrace.version=3.1.0
 jets3t.version=0.6.1    modify
 jets3t.version=0.9.0
 #jersey-core.version=1.8    modify
 #jersey-json.version=1.8    modify
 #jersey-server.version=1.8    modify
 jersey-core.version=1.9
 jersey-json.version=1.9
 jersey-server.version=1.9
 #junit.version=4.5    modify
 junit.version=4.11
 #slf4j-api.version=1.7.5    modify
 #slf4j-log4j12.version=1.7.5    modify
 slf4j-api.version=1.7.10
 slf4j-log4j12.version=1.7.10
 #xerces.version=1.4.4    modify
 xerces.version=2.9.1

 5.编译插件

在cmd中

 cd /d D:\hadoop2x-eclipse-plugin-master-master\src\contrib\eclipse-plugin

然后：
ant jar -Dversion=2.7.5 -Dhadoop.version=2.7.5 -Declipse.home=D:\eclipse -Dhadoop.home=D:\Develop\hadoop-2.7.5

编译成功的插件hadoop-eclipse-plugin-2.7.5.jar在D:\hadoop2x-eclipse-plugin-master-master\build\contrib\eclipse-plugin下

 

6.安装插件

关闭eclipse

6.1将插件拷贝至

D:\eclipse\plugins

重启eclipse,可以看到DFS Locations

打开Window->Preferences->hadoop Map/Reduce,填写本地hadoop路径

 
Window-->Show View-->Others-->MapReduce Tools 点击Map/ReduceLocation

然后点击Map/Reduce Locations选项卡 右侧小象图标,打开Hadoop Location配置窗口： 输入Location  Name，任意名称即可.配置Map/Reduce Master和DFS  Mastrer，Host和Port配置成hdfs-site.xml与core-site.xml的设置一致即可

完成后点击右下侧的finish

 

查看是否连接成功

7.运行新建WordCount 项目并运行

 7.1下载window环境所需要的批处理文件hadoop.dll和winutils.exe

http://download.csdn.net/detail/chenxf10/9621093

hadoop安装路径D:\Develop\hadoop-2.7.5\bin下放置hadoop.dll和winutils.exe两个文件

C:\Windows\System32路径下放置winutils.exe

没有的直接运行会报错

7.2.File->New->Map/Reduce Project

7.3.新建WordCount.java

解压D:\Develop\hadoop-2.7.5\share\hadoop\mapreduce\sources\hadoop-mapreduce-examples-2.7.5-sources.jar

拷贝org\apache\hadoop\examples\WordCount.java到eclipse工程下

src目录下新建log4j.properties文件

内容：

### 设置###
log4j.rootLogger = debug,stdout,D,E
### 输出信息到控制抬 ###
log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target = System.out
log4j.appender.stdout.layout = org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern = [%-5p] %d{yyyy-MM-dd HH:mm:ss,SSS} method:%l%n%m%n

### 输出DEBUG 级别以上的日志到=E://logs/error.log ###
log4j.appender.D = org.apache.log4j.DailyRollingFileAppender
log4j.appender.D.File = E://logs/log.log
log4j.appender.D.Append = true
log4j.appender.D.Threshold = DEBUG 
log4j.appender.D.layout = org.apache.log4j.PatternLayout
log4j.appender.D.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss}  [ %t:%r ] - [ %p ]  %m%n

### 输出ERROR 级别以上的日志到=E://logs/error.log ###
log4j.appender.E = org.apache.log4j.DailyRollingFileAppender
log4j.appender.E.File =E://logs/error.log 
log4j.appender.E.Append = true
log4j.appender.E.Threshold = ERROR 
log4j.appender.E.layout = org.apache.log4j.PatternLayout
log4j.appender.E.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss}  [ %t:%r ] - [ %p ]  %m%n

可以参考：http://blog.csdn.net/sinat_30185177/article/details/73550377

 

 

 

工程目录结构：

7.3.在hdfs输入目录创建需要统计的文本

 

    7.3.1没有输入输出目录卡，先在hdfs上建个文件夹  

        #bin/hdfs dfs -mkdir –p  /user/root/input

        #bin/hdfs dfs -mkdir -p  /user/root/output

    7.3.2把要统计的文本上传到hdfs的输入目录下

       # bin/hdfs dfs -put/usr/local/hadoop/hadoop-2.6.0/test/* /user/root/input      //把tes/file01文件上传到hdfs的/user/root/input中

    7.3.3查看

       #bin/hdfs dfs -cat /user/root/input/file01

   

 

 7.4.点击WordCount.java右击-->Run As-->Run COnfigurations   设置输入和输出目录路径，如图所示：

  

  7.5.点击WordCount.java右击-->Run As-->Run on  Hadoop

  

      

  

 然后到output/count目录下，有一个统计文件，并查看结果，所以配置成功。

.注意的地方

    我们在这篇介了，Eclipse连接Linux虚拟机上Hadoop并在Eclipse开发Hadoop的一些问题，解决Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z  等一系列问题