Flink on yarn的HA

第一步配置flink-conf.yaml文件

high-availability: ZOOKEEPER
high-availability.storageDir: hdfs:///flink/ha
high-availability.zookeeper.path.root: /flink
high-availability.zookeeper.quorum: test01:2181,test02:2181,test03:2181

yarn.application-attempts: 10

第二步配置Flink conf目录下的zoo.cfg,添加一下配置，将原来的删除掉

server.1=test01:2888:3888
server.2=test02:2888:3888
server.3=test03:2888:3888

第三步 启动Flink Job，可以使session方式，也可以是flink run方式。

第四步验证HA

1. 首先利用yarn的web ui找到提交的flink job，然后找到该任务的jobmanager在哪台机器上，然后去该机器上去kill掉jobmanager。如果是session模式进程名字为YarnSessionClusterEntrypoint，如果是flink run方式进程名字为YarnJobClusterEntrypoint。
2. 第二步去看该Job下的appattempt是否更新了。效果如下
   
3. 在HDFS上的Flink/ha目录会出现集群的名称，如下图