欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Hadoop2.7.3源码编译

程序员文章站 2022-07-14 16:45:58
...

环境:
CentOS release 6.5
jdk1.8
maven3.5.0
Hadoop2.7.3
protocbuf 2.5.0
这里选择的Linux环境下面编译,因为这个Windows下面出现了很多问题

1、环境安装
这里 jdk maven 这些的安装 不在做介绍了,这里重点介绍一下protocbuf的安装

安装依赖库(重要),
这个必须安装,不同操作系统安装不一样,如果不安装protocbuf在config的时候会出错

yum -y install svn ncurses-devel gcc*
yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel

安装protobuf

可以在这里下载

免费下载地址在http://linux.linuxidc.com/
用户名与密码都是www.linuxidc.com
具体下载目录在/2015年资料/10月/10日/CentOS7下用JDK1.7编译Hadoop-2.7.1全过程详解/

[root@cdh1 opt]# tar -zxvf protobuf-2.5.0.tar.gz
[root@cdh1 opt]# cd protobuf-2.5.0
[root@cdh1 protobuf-2.5.0]# ./configure --prefix=/opt/protobuf-2.5.0
[root@cdh1 protobuf-2.5.0]# make && make install

修改PATH变量

export PATH=$PATH:$HIVE_HOME/bin:/opt/protobuf-2.5.0/bin

在source 配置文件

[root@cdh1 protobuf-2.5.0]# protoc --version
libprotoc 2.5.0

如果能看到这个说明已经安装成功了

安装ant

tar -zxvf apache-ant-1.9.9-bin.tar.gz -C /opt/

配置profile文件

export ANT_HOME=/opt/apache-ant-1.9.9
export PATH=$PATH:$HIVE_HOME/bin:/opt/protobuf-2.5.0/bin:$ANT_HOME/bin
#source profile
[root@cdh1 apache-ant-1.9.9]# source /etc/profile
#验证安装是否成功
[root@cdh1 apache-ant-1.9.9]# ant -v
Apache Ant(TM) version 1.9.9 compiled on February 2 2017
Trying the default build file: build.xml
Buildfile: build.xml does not exist!
Build failed

安装 findbugs

unzip findbugs-noUpdateChecks-3.0.1.zip

配置profile文件

export FINDBUGS_HOME=/opt/findbugs-3.0.1
export PATH=$PATH:$HIVE_HOME/bin:/opt/protobuf-2.5.0/bin:$ANT_HOME/bin:$FINDBUGS_HOME/bin
[aaa@qq.com apache-ant-1.9.9]# source /etc/profile

解压Hadoop

[root@cdh1 opt]# tar -zxvf hadoop-2.7.5-src.tar.gz 

解压以后再mv到对应编译的目录下面去

[root@cdh1 opt]# mv hadoop-2.7.5-src ./java/

用idea加载Hadoop源码,这个具体可以看上篇文章hive的加载方式

开始编译

选择maven project –》输入 compile -DskipTests –>execute

Hadoop2.7.3源码编译

编译成功

Hadoop2.7.3源码编译