欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

第 4 节 Flink standalone集群安装部署

程序员文章站 2022-06-16 17:30:07
...

上篇:第 3 节 Flink standalocal集群安装以及集群代码提交执行


1、Flink集群安装部署standalone+yarn

standalone模式
准备工作:
(1)集群节点划分:3台(一主两从)
flink105、 flink106、 flink107
(2) jdk:1.8以上
(3) ssh免密码登陆(至少要实现能够免密码登陆到从节点)
(4) 主机名hostname(文件配置与ip映射 )
(5) 关闭防火墙(systemctl stop firewalld.service )


2、standalone模式

开始搭建
(1)上传发flink安装包到Linux环境中
第 4 节 Flink standalone集群安装部署
(2)解压文件 flink-1.7.0-bin-hadoop27-scala_2.11.tgz

[root@flink105 hadoop]# tar -zxvf flink-1.7.0-bin-hadoop27-scala_2.11.tgz -C module/

(3)修改配置文件

[root@flink105 conf]# vim flink-conf.yaml 

jobmanager.rpc.address: flink105 

修改slaves

[root@flink105 conf]# vim slaves 

flink106
flink107

(4)分发给另外两台机器

[root@flink105 module]# scp -r flink-1.7.0/ flink106:/usr/hadoop/module/

[root@flink105 module]# scp -r flink-1.7.0/ flink107:/usr/local/hadoop/module/

(5)启动

//先启动集群
[root@flink105 bin]# ./start-cluster.sh 

//一个主节点,两个从节点
Starting cluster.  
Starting standalonesession daemon on host flink105 .
Starting taskexecutor daemon on host flink106 .
Starting taskexecutor daemon on host flink107 .

http://flink105:8081
第 4 节 Flink standalone集群安装部署

Flink-Standalone集群重要参数详解

jobmanager.heap.mb:jobmanager节点可用的内存大小
taskmanager.heap.mb:taskmanager节点可用的内存大小
taskmanager.numberOfTaskSlots:每台机器可用的cpu数量
parallelism.default:默认情况下任务的并行度
taskmanager.tmp.dirs:taskmanager的临时数据存储目录

slot和parallelism总结
1.slot是静态的概念,是指taskmanager具有的并发执行能力
2.parallelism是动态的概念,是指程序运行时实际使用的并发能力
3.设置合适的parallelism能提高运算效率,太多了和太少了都不行


3、Flink standalone集群中job的容错

jobmanager挂掉

  1. 正在执行的任务会失败
  2. 存在单点故障,(Flink支持HA,后面会讲到)

taskmanager挂掉

  1. 如果有多余的taskmanager节点,flink会自动把任务调度到其它节点执行
相关标签: Flink入门实战