Flink设置并行度的方式和执行级别
程序员文章站
2022-06-25 08:42:37
Flink设置并行度的几种方式 代码中设置setParallelism() 全局设置: env.setParallelism(3); 算子设置(部分设置): sum(1).setParallelism(3) 客户端CLI设置: ./bin/flink run -p 3 修改配置文件设置/conf/f ......
-
代码中设置
setparallelism()
-
全局设置:
env.setparallelism(3);
-
算子设置(部分设置):
sum(1).setparallelism(3)
-
-
客户端cli设置:
./bin/flink run -p 3
-
修改配置文件设置
/conf/flink-conf.yaml的parallelism.defaul数值
-
-
全局设置:
env.setmaxparallelism(n)
-
算子设置(部分设置):
sum(1).setmaxparallelism(n)
默认的最大并行度是近似于operatorparallelism + (operatorparallelism / 2),下限是127,上线是32768.
执行顺序级别:算子>全局env>cli>配置文件 。
.setparallelism()的并行度需要小于.setmaxparallelism()的最大并行度。
上一篇: 分析Mysql表读写、索引等操作的sql语句效率优化问题
下一篇: Laravel 的十八个最佳实践