欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Flink筛选重要配置参数

程序员文章站 2022-03-16 13:41:04
1.简单介绍一下flink背景随着科技的发展,大数据框架处理海量数据越来越流行。有状态流计算将会逐步成为企业作为构建数据平台的架构模式,而目前从社区来看,能够满足的只有Apache Flink。Flink通过实现Goolge Dataflow流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。同时Flink支持高度容错的状态管理,防止状态在计算过程中因为系统异常而出现丢失。Flink具有先进的架构理念,诸多的优秀特性,以及完善的编程接口,而Flink也在每一次的Release版本中,不断推出新的...

1.简单介绍一下flink背景

随着科技的发展,大数据框架处理海量数据越来越流行。有状态流计算将会逐步成为企业作为构建数据平台的架构模式,而目前从社区来看,能够满足的只有Apache Flink。Flink通过实现Goolge Dataflow流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。同时Flink支持高度容错的状态管理,防止状态在计算过程中因为系统异常而出现丢失。Flink具有先进的架构理念,诸多的优秀特性,以及完善的编程接口,而Flink也在每一次的Release版本中,不断推出新的特性。在未来,Flink将不仅作为实时流式处理的框架,更多的可能会成为一套实时的状态存储引擎,让更多的用户从有状态计算的技术中获益。因此批流融合的Flink大数据处理框架越来越受欢迎。
Apache Flink是一个开放源码的分布式数据处理引擎,基于Google Dataflow模型。作为新型的大数据框架,Flink有许多对性能影响较大的配置参数。

2.flink1.7.2参数初步筛选

Flink1.7提供了300多项配置参数,主要分类为:核心,JobManager,TaskManager,分布式协调(通过Akka),REST,Blob服务器,心跳管理器,SSL设置,网络通讯(通过Netty),Web前端,文件系统,编译/优化,运行时算法,Resource Manager,YARN,Mesos,HA,Zookeeper安全。
详细的配置参数请参照官方翻译flink配置参数
内容如下图:
Flink筛选重要配置参数

本文地址:https://blog.csdn.net/weixin_44052055/article/details/108202170