欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

spark 1.6.1 源码编译过程

程序员文章站 2022-07-12 11:36:32
...

一、安装scala 2.10.4

解压配置环境变量即可

二、编译spark源码

源码下载地址:
http://archive.apache.org/dist/spark/spark-1.6.1/spark-1.6.1.tgz
解压

修改make-distribute.sh 文件,在这个位置加入以上内容:

spark 1.6.1 源码编译过程
把原来的版本删掉,然后加上:
VERSION=1.6.1
SCALA_VERSION=2.10.4
SPARK_HADOOP_VERSION=2.5.0-cdh5.3.6
SPARK_HIVE=1

修改pom.xml文件
spark 1.6.1 源码编译过程
改成2.10.4

上传东西到
spark源码根目录build文件夹下:
/home/hadoop/software/spark-1.6.1/build
1.解压后的scala
2.解压后的zinc
spark 1.6.1 源码编译过程
zinc下载地址:
http://downloads.typesafe.com/zinc/0.3.5.3/zinc-0.3.5.3.tgz

修改maven的settings.xml文件,在mirrors中加入阿里云的maven镜像

<mirror>
    <id>nexus-aliyun</id>
    <mirrorOf>*</mirrorOf>
    <name>Nexus aliyun</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

开始编译:

./make-distribution.sh --tgz \
--name 2.5.0-cdh5.3.6 \
-Phadoop-2.4 \
-Dhadoop.version=2.5.0 \
-Pyarn \
-Phive -Phive-thriftserver

下面的是cdh5.11.1的编译命令:

./make-distribution.sh --tgz \
--name 2.6.0-cdh5.11.1 \
-Phadoop-2.6.0-cdh5.11.1 \
-Dhadoop.version=2.6.0-cdh5.11.1 \
-Pyarn \
-Phive-1.1.0

三、问题解决

整个编译过程报了一个错误:
spark 1.6.1 源码编译过程
说找不到这个包
于是去
spark 1.6.1 源码编译过程
maven仓库里面看了这个文件里面的地址信息:
https://repo.eclipse.org/content/repositories/paho-releases
从这个网站下载了所有它说的缺失的包的文件
主要是:
org.eclipse.paho.client.mqttv3-1.0.1和java-parent
这两个
下载好之后,放到maven仓库重新编译,问题解决!