欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Flink设置并行度的方式和执行级别

程序员文章站 2022-03-16 20:45:24
Flink设置并行度的几种方式 代码中设置setParallelism() 全局设置: env.setParallelism(3); 算子设置(部分设置): sum(1).setParallelism(3) 客户端CLI设置: ./bin/flink run -p 3 修改配置文件设置/conf/f ......

flink设置并行度的几种方式

  1. 代码中设置setparallelism()

    • 全局设置:

      env.setparallelism(3); 
    • 算子设置(部分设置):

      sum(1).setparallelism(3)
  2. 客户端cli设置:

    ./bin/flink run -p 3
    
  3.  修改配置文件设置/conf/flink-conf.yaml的parallelism.defaul数值

  4. 最大并行度设置

  • 全局设置:

    env.setmaxparallelism(n) 
  • 算子设置(部分设置):

    sum(1).setmaxparallelism(n)

    默认的最大并行度是近似于operatorparallelism + (operatorparallelism / 2),下限是127,上线是32768. 

执行顺序级别:算子>全局env>cli>配置文件 。

.setparallelism()的并行度需要小于.setmaxparallelism()的最大并行度。