Flink的TaskManager启动(源码分析)
通过启动脚本已经找到了taskmanager 的启动类org.apache.flink.runtime.taskexecutor.taskmanagerrunner
来看一下它的main方法中
最后被start了起来
start其实是将taskmanager 端的rpc服务起起来了
看一下taskmanagerrunner的构造方法中
调用了这个starttaskmanager()方法,在这个方法中又调用了
在这个方法中.fromconfiguration()
看到创建了一个networkenevironment并且把它起了起来其中
因为flink的网络是走的netty,可以看到它会初始化netty的客户端和服务端用于网络通信并且传入了bufferpool池,这个在以后随缘更新到 反压 会详细的研究
回到fromconfiguration()方法
network.start以后它又
创建了内存管理类memorymanager和io管理类iomanager, 这里以后随缘更新讲到内存和io单独说
需要注意的是这里的async异步io,其实目前flink只有这一种异步的io管理器
创建了定时器服务,定时器留到窗口在讲
回到starttaskmanager()方法的最后
这个类taskexecutor就是前面说的包含了rpc接口的类主要是实现了接口
里面包含了一些重要的方法的实现,来看一下有哪些重要的方法
可以看到这是请求slot的
这是启动task的其中这个tdd就包含了一些任务的信息上下游inputgate,resultpartition等 具体job启动的时候详细讲一下
这个方法也是比较重要的,可以看到这是一个触发checkpoint的rpc,这里可能会有疑问为什么chenkpoint这个rpc会在taskmanager端
可以先简单的看下具体实现
看到这里大致就知道了,其实这个rpc是留给coordinator调用的,会触发生成barrier的逻辑(也就是经常说的,coordinator会在source插入barriers用于分布式快照对齐)随缘更新到checkpoint的时候在细说吧
这里taskmanager就差不多启动起来了,当然taskmanager还有很多服务像什么ha,heartbeat,blobcache也会起起来,这里就不全部写出了
推荐阅读
-
C#启动windows服务方法的相关问题分析
-
Spring源码分析——调试环境搭建(可能是最省事的构建方法)
-
PHP源码分析之变量的存储过程分解
-
[Abp vNext 源码分析] - 5. DDD 的领域层支持(仓储、实体、值对象)
-
[Abp vNext 源码分析] - 11. 用户的自定义参数与配置
-
Netty源码分析 (三)----- 服务端启动源码分析
-
SpringBoot 源码解析 (六)----- Spring Boot的核心能力 - 内置Servlet容器源码分析(Tomcat)
-
spring源码分析系列5:ApplicationContext的初始化与Bean生命周期
-
spring源码分析6: ApplicationContext的初始化与BeanDefinition的搜集入库
-
Flink中watermark为什么选择最小一条(源码分析)