flink 优化小技巧-1
程序员文章站
2022-06-07 22:48:12
...
1. 今天源码调试的时候发现 :
env.getConfig().enableObjectReuse()
2.参考: https://segmentfault.com/a/1190000019352598
解释: enableObjectReuse 是可以让对象进行浅拷贝(地址拷贝),从而提速
关于深浅拷贝这里不做太多解释。
3.我们的场景:
3.1 source(表)->filter(过滤)>funcion(维表join)->sink(输出)
这种仅做过滤,或者数据添加的操作,不对原数据进行加工的,完全可以使用(2倍性能)
4.其他介绍
disableOperatorChainning() 不允许Chain 合并,调试的时候用
优化:尽量我们让chain 合并,减少shuffer 之类的,减少序列化开销,这个是常规操作
5.仅简单记录一下小知识点,为更好的性能努力
版本1.10.0
上一篇: 从MySQL导入导出大量数据的程序实现方法_MySQL
下一篇: 找出唯一不重复数