Flink
程序员文章站
2022-06-17 13:03:55
...
1 、Flink简介
1.1 什么是Flink
1.2 Flink特点
2 、Flink整体架构
3、环境搭建
计与standalone模式是Flink自带的分布式集群模式,不依赖其他的资源调度框架。
下面是本人计与standalone模式下环境搭建。以后讲解均以该环境。采用f版本link1.9.1。
安装环境:
- 三台Linux虚拟机进行免密登录,免密登录设置:https://www.linuxprobe.com/linux-ssh-login.html
- 配置好Jdk1.8以上的环境
3.1 搭建步骤
-
下载flink安装包: https://flink.apache.org/downloads.html
-
将 flink-1.9.1-bin-scala_2.11.tgz 上传到centos-node-1服务器的/bigdata目录下
-
解压安装包
[aaa@qq.com bigdata]# tar -xvf flink-1.9.1-bin-scala_2.11.tgz [aaa@qq.com bigdata] pwd /bigdata [aaa@qq.com bigdata] ll total 4 drwxr-xr-x. 10 502 games 4096 Sep 30 2019 flink-1.9.1
-
修改flink-1.9.1/conf目录下的flink-conf.yaml配置文件
vim /bigdata/flink-1.9.1/conf/flink-conf.yaml #设置jobmanager为centos—node-1 jobmanager.rpc.address: centos-node-1 #指定taskmanager的可用槽位的数量 taskmanager.numberOfTaskSlots: 2
-
修改修改flink-1.9.1/conf目录下的flink-conf.yaml配置文件
vim /bigdata/flink-1.9.1/conf/slaves.yaml centos-node-2 centos-node-3
-
避免无法启动centos-node-2/3上的taskManger,可以进如下修改
vim /bigdata/flink-1.9.1/bin//taskmanager.sh
-
将配置好的flink-1.9.1复制到centos-node-2和centos-node-3上
scp -r /bigdata centos-node-2:/ scp -r /bigdata centos-node-3:/
-
在centos-node-1上启动flink
cd /bigdata/flink-1.9.1/bin ./start-cluster.sh
检查centos-node-1/2/3启动情况:
[aaa@qq.com bin]# Jps 13459 Jps 4852 StandaloneSessionClusterEntrypoint
[aaa@qq.com ~]# Jps 13203 Jps 4670 TaskManagerRunner
[aaa@qq.com ~]# Jps 13203 Jps 4670 TaskManagerRunner
-
出现一下页面及按住成功,192.168.61.129就是centos-node-1地址