欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

本地:Flink1.12集成iceberg

程序员文章站 2022-03-08 08:05:37
...

在上一篇《最新跑通:使用iceberg-master分支构建支持Flink1.12的iceberg版本》中,构建了支持Flink1.12的iceberg jar包。现在来集成下iceberg。

1.Flink1.11开始就不在提供flink-shaded-hadoop-2-uber的支持,所以如果需要flink支持hadoop得配置环境变量HADOOP_CLASSPATH:

export HADOOP_CLASSPATH=`hadoop classpath`
export PATH=$PATH:$HADOOP_CLASSPATH

验证是否设置成功:

本地:Flink1.12集成iceberg

 2.将flink-runtime下构建好的Iceberg的jar包复制到flink下

本地:Flink1.12集成iceberg

3.启动flink集群

bin/start-cluster.sh

 本地:Flink1.12集成iceberg

4.启动flin sql client

bin/sql-client.sh embedded

5.创建Hadoop catalog等后续操作即可

本地:Flink1.12集成iceberg