本地:Flink1.12集成iceberg
程序员文章站
2022-03-08 08:05:37
...
在上一篇《最新跑通:使用iceberg-master分支构建支持Flink1.12的iceberg版本》中,构建了支持Flink1.12的iceberg jar包。现在来集成下iceberg。
1.Flink1.11开始就不在提供flink-shaded-hadoop-2-uber的支持,所以如果需要flink支持hadoop得配置环境变量HADOOP_CLASSPATH:
export HADOOP_CLASSPATH=`hadoop classpath`
export PATH=$PATH:$HADOOP_CLASSPATH
验证是否设置成功:
2.将flink-runtime下构建好的Iceberg的jar包复制到flink下
3.启动flink集群
bin/start-cluster.sh
4.启动flin sql client
bin/sql-client.sh embedded
5.创建Hadoop catalog等后续操作即可
推荐阅读
-
本地搭建持续集成(AzureDevops)
-
Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12为例
-
flink1.11.1集成iceberg0.11(hadoop_catalog)-(1)
-
Flink集成iceberg在生产环境中的实践
-
SAP成都研究院飞机哥: SAP C4C中国本地化之微信聊天机器人的集成 SAPC4CCRM微信微信集成
-
本地搭建持续集成(AzureDevops)
-
SpringBoot快速集成jxls-poi(自定义模板,支持本地文件导出,在线文件导出)
-
Mac下flutter项目导入、编译、本地及网络插件集成
-
自建快速集成AudioPlayer插件,本地音频播放小工具,能满足大部分日常接触到的声音播放功能
-
怎样将ES6 bare module引入到本地程序中,3DTilesRendererJS集成问题解决方案探索