Flink集群部署

学习大数据搭建一个集群是必不可少的，那么下面就来简要介绍一下如何搭建一个Flink集群。

local模式的集群一般是用来本地测试的，搭建起来也是很简单的在官网下载需要的安装包之后不需要修改任何配置就可以启动使用。在这里也不过过多的介绍了。

1、Standalone Cluster

1. 首先下载我们需要的flink包并解压到相应的位置
2. 修改conf/filnk-conf.yaml
   jobmanager.rpc.address:hadoop1
3. 修改conf/slaves
   hadoop2
   hadoop3
4. 拷贝到其他节点

scp -rq flink的位置 hadoop2:/opt/module
scp -rq flink的位置 hadoop3:/opt/module

5. 在hadoop1启动

bin/start-cluster.sh

6. 访问http://hadoop1:8081

重要参数详解：
1、jobmanager.heap.mb:jobmanager节点可用的内存大小
2、taskmanager.heap.mb:taskmansger节点可以用的内存大小
3、taskmanager.numberOfTaskSlots:每台机器可以用的CPU数量
4、parallelism.default:默认情况下任务的并行度

Standalone集群中job的容错：
1、JobManager挂掉：正在执行的任务会失败，存在单点故障(Flink支持HA)
2、TaskManager挂掉：如果有多余的TaskManager节点Flink会自动把任务调度到其他节点执行

2、Flink On Yarn

Flink On Yarn支持两种模式：

只需要在提交一个脚本命令即可：

flink-1.7.2/yarn-session.sh -n 2 -s 6 -jm 1024 -tm 1024 -nm test -d

其中：
-n(–container):TaskManager数量
-s(–slots):每个TaskManager的slot数量，默认一个slot一个core，默认每个TaskManager的slot的个数为1，有时可以多一些TaskManager做冗余
-jm:JobManager内存(单位MB)
-tm:每个TaskManager的内存(单位MB)
-nm:yarn的APPName(现在yarn的ui上的名字)
-d:后台运行