第 4 节 Flink standalone集群安装部署
程序员文章站
2022-06-16 17:30:07
...
上篇:第 3 节 Flink standalocal集群安装以及集群代码提交执行
1、Flink集群安装部署standalone+yarn
standalone模式
准备工作:
(1)集群节点划分:3台(一主两从)
flink105、 flink106、 flink107
(2) jdk:1.8以上
(3) ssh免密码登陆(至少要实现能够免密码登陆到从节点)
(4) 主机名hostname(文件配置与ip映射 )
(5) 关闭防火墙(systemctl stop firewalld.service )
2、standalone模式
开始搭建
(1)上传发flink安装包到Linux环境中
(2)解压文件 flink-1.7.0-bin-hadoop27-scala_2.11.tgz
[root@flink105 hadoop]# tar -zxvf flink-1.7.0-bin-hadoop27-scala_2.11.tgz -C module/
(3)修改配置文件
[root@flink105 conf]# vim flink-conf.yaml
jobmanager.rpc.address: flink105
修改slaves
[root@flink105 conf]# vim slaves
flink106
flink107
(4)分发给另外两台机器
[root@flink105 module]# scp -r flink-1.7.0/ flink106:/usr/hadoop/module/
[root@flink105 module]# scp -r flink-1.7.0/ flink107:/usr/local/hadoop/module/
(5)启动
//先启动集群
[root@flink105 bin]# ./start-cluster.sh
//一个主节点,两个从节点
Starting cluster.
Starting standalonesession daemon on host flink105 .
Starting taskexecutor daemon on host flink106 .
Starting taskexecutor daemon on host flink107 .
Flink-Standalone集群重要参数详解
jobmanager.heap.mb:jobmanager节点可用的内存大小
taskmanager.heap.mb:taskmanager节点可用的内存大小
taskmanager.numberOfTaskSlots:每台机器可用的cpu数量
parallelism.default:默认情况下任务的并行度
taskmanager.tmp.dirs:taskmanager的临时数据存储目录
slot和parallelism总结
1.slot是静态的概念,是指taskmanager具有的并发执行能力
2.parallelism是动态的概念,是指程序运行时实际使用的并发能力
3.设置合适的parallelism能提高运算效率,太多了和太少了都不行
3、Flink standalone集群中job的容错
jobmanager挂掉
- 正在执行的任务会失败
- 存在单点故障,(Flink支持HA,后面会讲到)
taskmanager挂掉
- 如果有多余的taskmanager节点,flink会自动把任务调度到其它节点执行