欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  网络运营

大数据--Flink入门

程序员文章站 2022-03-01 22:01:33
官网:https://flink.apache.orgApache Flink = 数据流上有状态的计算简化流程:既可以做批处理,也可以做流处理Flink提供什么能力:Flink业务场景:Flink基础组件栈Flink基础架构图Flink基础语义状态状态和流式计算如何关联1,无状态的流式计算2,有状态的流式计算分布式时间(time)API状态容错...

目录

Flink提供什么能力:

Flink业务场景:

Flink基础组件栈

Flink基础架构图

Flink基础语义

状态

状态和流式计算如何关联

1,无状态的流式计算

2,有状态的流式计算

分布式

时间(time)

API

状态容错

分布式环境下的容错

状态维护

状态的保存和转移


官网:https://flink.apache.org

Apache Flink = 数据流上有状态的计算

大数据--Flink入门

简化流程:

大数据--Flink入门

既可以做批处理,也可以做流处理

大数据--Flink入门

Flink提供什么能力:

大数据--Flink入门

Flink业务场景:

大数据--Flink入门

Flink基础组件栈

大数据--Flink入门

Flink基础架构图

大数据--Flink入门

Flink基础语义

状态

大数据--Flink入门

大数据--Flink入门

大数据--Flink入门

大数据--Flink入门

状态和流式计算如何关联

大数据--Flink入门

1,无状态的流式计算

大数据--Flink入门

大数据--Flink入门

2,有状态的流式计算

大数据--Flink入门

大数据--Flink入门

分布式

大数据--Flink入门

大数据--Flink入门

大数据--Flink入门

时间(time)

大数据--Flink入门

API

大数据--Flink入门

大数据--Flink入门

大数据--Flink入门

状态容错

大数据--Flink入门

大数据--Flink入门

分布式环境下的容错

大数据--Flink入门

每个任务都有自己的状态,便于恢复,将所有需要的状态保存到一个DFS

大数据--Flink入门

何时上传保存:checkpoint

大数据--Flink入门

JM发起一次checkpoint

大数据--Flink入门

checkpoint会跟着拓扑图走,并记录一些东西

大数据--Flink入门

到达最后sink算子的时候,它需要完成一张图

大数据--Flink入门

大数据--Flink入门

如果有计算节点算子挂掉了,我们只需提取相应节点的之前状态恢复一下即可。

状态维护

大数据--Flink入门

状态的保存和转移

引入savepoint(checkpoin的特例)概念,将算子状态快照持久化存储便于转移之后继续使用,另外还有数据对齐。

 

本文地址:https://blog.csdn.net/weixin_40959890/article/details/110478558

相关标签: 大数据