Flink筛选重要配置参数
1.简单介绍一下flink背景
随着科技的发展,大数据框架处理海量数据越来越流行。有状态流计算将会逐步成为企业作为构建数据平台的架构模式,而目前从社区来看,能够满足的只有Apache Flink。Flink通过实现Goolge Dataflow流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。同时Flink支持高度容错的状态管理,防止状态在计算过程中因为系统异常而出现丢失。Flink具有先进的架构理念,诸多的优秀特性,以及完善的编程接口,而Flink也在每一次的Release版本中,不断推出新的特性。在未来,Flink将不仅作为实时流式处理的框架,更多的可能会成为一套实时的状态存储引擎,让更多的用户从有状态计算的技术中获益。因此批流融合的Flink大数据处理框架越来越受欢迎。
Apache Flink是一个开放源码的分布式数据处理引擎,基于Google Dataflow模型。作为新型的大数据框架,Flink有许多对性能影响较大的配置参数。
2.flink1.7.2参数初步筛选
Flink1.7提供了300多项配置参数,主要分类为:核心,JobManager,TaskManager,分布式协调(通过Akka),REST,Blob服务器,心跳管理器,SSL设置,网络通讯(通过Netty),Web前端,文件系统,编译/优化,运行时算法,Resource Manager,YARN,Mesos,HA,Zookeeper安全。
详细的配置参数请参照官方翻译flink配置参数。
内容如下图:
本文地址:https://blog.csdn.net/weixin_44052055/article/details/108202170
上一篇: 小米10s和华为nova8区别是什么 小米10s和华为nova8对比介绍
下一篇: 感觉不对劲