Flink重新编译
程序员文章站
2023-12-30 17:05:40
...
背景
由于实际生产环境当中,我们一般都是使用基于CDH的大数据软件组件,因此我们Flink也会选择基于CDH的软件组件,但是由于CDH版本的软件并没有对应的Flink这个软件安装包,所以我们可以对开源的Flink进行重新编译,然后用于适配我们对应的CDH版本的hadoop
准备工作
安装maven3版本及以上:(参考:链接: https://blog.csdn.net/qq_38270106/article/details/97764483.
查看是否安装成功
安装jdk1.8:省略
查看是否安装成功:
下载flink源码包并编译
下载源码包:
链接(http://archive.apache.org/dist/flink/flink-1.8.1/flink-1.8.1-src.tgz)
上传服务器/kkb/soft:
使用FileZill上传:具体步骤省略
解压:
tar -zxf flink-1.8.1-src.tgz -C /kkb/install/
进入解压后的文件路径:
cd /kkb/install
进行编译:
mvn -T2C clean install -DskipTests -Dfast -Pinclude-hadoop -Pvendor-repos -Dhadoop.version=2.6.0-cdh5.14.2
-T2C(-Dfast):进行加速编译
-DskipTests:表示跳过测试
-Pinclude-hadoop:表示hadoop的包也给加载进来
-Pvendor-repos:把编译的信息打印出来
-Dhadoop.version:指定hadoop的版本
编译成功之后的文件夹目录位于
/kkb/install/flink-1.8.1/flink-dist/target
编译成功后的文件在:https://pan.baidu.com/s/1b_AURLorwRMsERNXg7j1iQ
提取码: 4zu5