spark 1.6.1 源码编译过程
一、安装scala 2.10.4
解压配置环境变量即可
二、编译spark源码
源码下载地址:
http://archive.apache.org/dist/spark/spark-1.6.1/spark-1.6.1.tgz
解压
修改make-distribute.sh 文件,在这个位置加入以上内容:
把原来的版本删掉,然后加上:
VERSION=1.6.1
SCALA_VERSION=2.10.4
SPARK_HADOOP_VERSION=2.5.0-cdh5.3.6
SPARK_HIVE=1
修改pom.xml文件
改成2.10.4
上传东西到
spark源码根目录build文件夹下:
/home/hadoop/software/spark-1.6.1/build
1.解压后的scala
2.解压后的zinc
zinc下载地址:
http://downloads.typesafe.com/zinc/0.3.5.3/zinc-0.3.5.3.tgz
修改maven的settings.xml文件,在mirrors中加入阿里云的maven镜像
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>*</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
开始编译:
./make-distribution.sh --tgz \
--name 2.5.0-cdh5.3.6 \
-Phadoop-2.4 \
-Dhadoop.version=2.5.0 \
-Pyarn \
-Phive -Phive-thriftserver
下面的是cdh5.11.1的编译命令:
./make-distribution.sh --tgz \
--name 2.6.0-cdh5.11.1 \
-Phadoop-2.6.0-cdh5.11.1 \
-Dhadoop.version=2.6.0-cdh5.11.1 \
-Pyarn \
-Phive-1.1.0
三、问题解决
整个编译过程报了一个错误:
说找不到这个包
于是去
maven仓库里面看了这个文件里面的地址信息:
https://repo.eclipse.org/content/repositories/paho-releases
从这个网站下载了所有它说的缺失的包的文件
主要是:
org.eclipse.paho.client.mqttv3-1.0.1和java-parent
这两个
下载好之后,放到maven仓库重新编译,问题解决!
上一篇: LInux下C语言源码编译的过程
下一篇: linux环境下kafka源码编译