欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

flink 优化小技巧-1

程序员文章站 2022-06-07 22:48:12
...

1. 今天源码调试的时候发现 :

    

env.getConfig().enableObjectReuse()

 

2.参考: https://segmentfault.com/a/1190000019352598

   解释: enableObjectReuse  是可以让对象进行浅拷贝(地址拷贝),从而提速

  关于深浅拷贝这里不做太多解释。

 

3.我们的场景:

  3.1  source(表)->filter(过滤)>funcion(维表join)->sink(输出)

  这种仅做过滤,或者数据添加的操作,不对原数据进行加工的,完全可以使用(2倍性能)

 

4.其他介绍

   

disableOperatorChainning() 不允许Chain 合并,调试的时候用

  优化:尽量我们让chain 合并,减少shuffer 之类的,减少序列化开销,这个是常规操作

 

5.仅简单记录一下小知识点,为更好的性能努力

    版本1.10.0