欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Win7+Eclipse+Hadoop2.6.4开发环境搭建  

程序员文章站 2024-02-26 11:10:16
...

Hadoop开发环境搭建

感谢参考网站:http://www.cnblogs.com/huligong1234/p/4137133.html

一、软件准备

JDK:jdk-7u80-windows-x64.exe

http://www.oracle.com/technetwork/java/javase/archive-139210.html

Eclipse:eclipse-jee-mars-2-win32-x86_64.zip

http://www.eclipse.org/downloads/

Hadoop:hadoop-2.6.4.tar.gz

Hadoop-Src:hadoop-2.6.4-src.tar.gz

http://hadoop.apache.org/releases.html

Ant:apache-ant-1.9.6-bin.zip

http://ant.apache.org/bindownload.cgi

Hadoop-Common:hadoop2.6(x64)V0.2.zip (2.4以后)、(hadoop-common-2.2.0-bin-master.zip)

2.2:https://github.com/srccodes/hadoop-common-2.2.0-bin

2.6:http://download.csdn.net/detail/myamor/8393459

Hadoop-eclipse-plugin:hadoop-eclipse-plugin-2.6.0.jar

https://github.com/winghc/hadoop2x-eclipse-plugin

二、搭建环境

1. 安装JDK

执行“jdk-7u80-windows-x64.exe”,步骤选择默认下一步即可。

2. 配置JDK、Ant、Hadoop环境变量

解压hadoop-2.6.4.tar.gz、apache-ant-1.9.6-bin.zip、hadoop2.6(x64)V0.2.zip、hadoop-2.6.4-src.tar.gz到本地磁盘,位置任意。

配置系统环境变量JAVA_HOME、ANT_HOME、HADOOP_HOME,并将这些环境变量的bin子目录配置到path变量中。

将hadoop2.6(x64)V0.2下的hadoop.dll和winutils.exe复制到HADOOP_HOME/bin目录下。

3. 配置Eclipse

将hadoop-eclipse-plugin-2.6.0.jar复制到eclilpse的plugins目录下。

启动eclipse,并设置好workspace。插件安装成功的话,启动之后可以看到如下内容:

Win7+Eclipse+Hadoop2.6.4开发环境搭建
            
    
    
         

4. 配置hadoop

打开“window”-“Preferenes”-“Hadoop Mep/Reduce”,配置到Hadoop_Home目录。

打开“window”-“show view” -“Mepreduce Tools” –“Mep/Reduce Locations”,创建一个Locations,配置如下。

Win7+Eclipse+Hadoop2.6.4开发环境搭建
            
    
    
         

1位置为配置的名称,任意。

2位置为mapred-site.xml文件中的mapreduce.jobhistory.address配置。

3位置为core-site.xml文件中的fs.default.name配置。

Win7+Eclipse+Hadoop2.6.4开发环境搭建
            
    
    
         

配置好以上信息之后,可以在Project Explorer中看到以下内容,即表示配置成功。

Win7+Eclipse+Hadoop2.6.4开发环境搭建
            
    
    
         

上图表示读取到了配置的hdfs信息,一共有3个文件夹input、output、output1,input目录下有3个文件。

注:以上内容为我自己环境中创建的,你看到的可能跟我的不一样。

内容可以通过在hadoop.master上执行

hadoop fs -mkdir input --创建文件夹

hadoop fs -put $localFilePath input --将本地文件上传到HDFS的input目录下

三、创建示例程序

1. 新建一个WordCount类

打开eclipse,创建一个Map/Reduce Project,并创建一个org.apache.hadoop.examples.WordCount类。

拷贝hadoop-2.6.4-src.tar.gz中hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples下的WordCount.java文件中的内容到新创建的类中。

2. 配置log4j

在src目录下,创建log4j.properties文件

Win7+Eclipse+Hadoop2.6.4开发环境搭建
            
    
    
         
log4j.rootLogger=debug,stdout,R
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=mapreduce_test.log
log4j.appender.R.MaxFileSize=1MB
log4j.appender.R.MaxBackupIndex=1
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%
log4j.logger.com.codefutures=DEBUG
Win7+Eclipse+Hadoop2.6.4开发环境搭建
            
    
    
         

3. 配置运行参数

选择“run”-“run configurations”,在“Arguments”里加入“hdfs://hadoop.master:9000/user/hadoop/input hdfs://hadoop.master:9000/user/hadoop/output1”。

格式为“输入路径 输出路径”,如果输出路径必须为空或未创建,否则会报错。

如下图:

Win7+Eclipse+Hadoop2.6.4开发环境搭建
            
    
    
         

注:如果”Java Application”下面没有“WordCount”,可以选择右键,New一个即可。

4. 执行查看结果

配置好之后,执行。查看控制台输出以下内容,表示执行成功:

  INFO - Job job_local1914346901_0001 completed successfully

  INFO - Counters: 38 
    File System Counters 
        FILE: Number of bytes read=4109 
        FILE: Number of bytes written=1029438 
        FILE: Number of read operations=0 
        FILE: Number of large read operations=0 
        FILE: Number of write operations=0 
        HDFS: Number of bytes read=134 
        HDFS: Number of bytes written=40 
        HDFS: Number of read operations=37 
        HDFS: Number of large read operations=0 
        HDFS: Number of write operations=6 
    Map-Reduce Framework 
        Map input records=3 
        Map output records=7 
        Map output bytes=70 
        Map output materialized bytes=102 
        Input split bytes=354 
        Combine input records=7 
        Combine output records=7 
        Reduce input groups=5 
        Reduce shuffle bytes=102 
        Reduce input records=7 
        Reduce output records=5 
        Spilled Records=14 
        Shuffled Maps =3 
        Failed Shuffles=0 
        Merged Map outputs=3 
        GC time elapsed (ms)=21 
        CPU time spent (ms)=0 
        Physical memory (bytes) snapshot=0 
        Virtual memory (bytes) snapshot=0 
        Total committed heap usage (bytes)=1556611072 
    Shuffle Errors 
        BAD_ID=0 
        CONNECTION=0 
        IO_ERROR=0 
        WRONG_LENGTH=0 
        WRONG_MAP=0 
        WRONG_REDUCE=0 
    File Input Format Counters 
        Bytes Read=42 
    File Output Format Counters 
        Bytes Written=40

在“DFS Locations”下,刷新刚创建的“hadoop”看到本次任务的输出目录下是否有输出文件。

Win7+Eclipse+Hadoop2.6.4开发环境搭建
            
    
    
         

四、问题FAQ

1. 问题1:NativeCrc32.nativeComputeChunkedSumsByteArray错误

问题描述】启动示例程序时,报nativeComputeChunkedSumsByteArray异常。控制台日志显示如下:

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V

at org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(Native Method)

原因分析hadoop.dll文件版本错误,替换对应的版本文件。由于hadoop.dll 版本问题出现的,这是由于hadoop.dll 版本问题,2.4之前的和自后的需要的不一样,需要选择正确的版本(包括操作系统的版本),并且在 Hadoop/bin和 C:\windows\system32 上将其替换。

解决措施】下载对应的文件替换即可。http://download.csdn.net/detail/myamor/8393459 (2.6.X_64bit)