Hadoop2.7.3源码编译
程序员文章站
2022-07-14 16:45:58
...
环境:
CentOS release 6.5
jdk1.8
maven3.5.0
Hadoop2.7.3
protocbuf 2.5.0
这里选择的Linux环境下面编译,因为这个Windows下面出现了很多问题
1、环境安装
这里 jdk maven 这些的安装 不在做介绍了,这里重点介绍一下protocbuf的安装
安装依赖库(重要),
这个必须安装,不同操作系统安装不一样,如果不安装protocbuf在config的时候会出错
yum -y install svn ncurses-devel gcc*
yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel
安装protobuf
可以在这里下载
免费下载地址在http://linux.linuxidc.com/
用户名与密码都是www.linuxidc.com
具体下载目录在/2015年资料/10月/10日/CentOS7下用JDK1.7编译Hadoop-2.7.1全过程详解/
[root@cdh1 opt]# tar -zxvf protobuf-2.5.0.tar.gz
[root@cdh1 opt]# cd protobuf-2.5.0
[root@cdh1 protobuf-2.5.0]# ./configure --prefix=/opt/protobuf-2.5.0
[root@cdh1 protobuf-2.5.0]# make && make install
修改PATH变量
export PATH=$PATH:$HIVE_HOME/bin:/opt/protobuf-2.5.0/bin
在source 配置文件
[root@cdh1 protobuf-2.5.0]# protoc --version
libprotoc 2.5.0
如果能看到这个说明已经安装成功了
安装ant
tar -zxvf apache-ant-1.9.9-bin.tar.gz -C /opt/
配置profile文件
export ANT_HOME=/opt/apache-ant-1.9.9
export PATH=$PATH:$HIVE_HOME/bin:/opt/protobuf-2.5.0/bin:$ANT_HOME/bin
#source profile
[root@cdh1 apache-ant-1.9.9]# source /etc/profile
#验证安装是否成功
[root@cdh1 apache-ant-1.9.9]# ant -v
Apache Ant(TM) version 1.9.9 compiled on February 2 2017
Trying the default build file: build.xml
Buildfile: build.xml does not exist!
Build failed
安装 findbugs
unzip findbugs-noUpdateChecks-3.0.1.zip
配置profile文件
export FINDBUGS_HOME=/opt/findbugs-3.0.1
export PATH=$PATH:$HIVE_HOME/bin:/opt/protobuf-2.5.0/bin:$ANT_HOME/bin:$FINDBUGS_HOME/bin
[aaa@qq.com apache-ant-1.9.9]# source /etc/profile
解压Hadoop
[root@cdh1 opt]# tar -zxvf hadoop-2.7.5-src.tar.gz
解压以后再mv到对应编译的目录下面去
[root@cdh1 opt]# mv hadoop-2.7.5-src ./java/
用idea加载Hadoop源码,这个具体可以看上篇文章hive的加载方式
开始编译
选择maven project –》输入 compile -DskipTests –>execute
编译成功
上一篇: JS实现div块的拖放,调换位置
下一篇: 拖拽原生js
推荐阅读
-
JSP实用教程之简易文件上传组件的实现方法(附源码)
-
JSP实用教程之简易页面编辑器的实现方法(附源码)
-
Android 编译出错版本匹配问题解决办法
-
详解Android的反编译和代码混淆
-
Qt最新版5.12.2在Win10环境静态编译安装和部署的完整过程(VS2017)
-
spring源码分析系列5:ApplicationContext的初始化与Bean生命周期
-
spring源码分析6: ApplicationContext的初始化与BeanDefinition的搜集入库
-
vue从使用到源码实现教程详解
-
Java并发系列之Semaphore源码分析
-
Java并发系列之CyclicBarrier源码分析