欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Flink

程序员文章站 2022-06-17 13:03:55
...

1 、Flink简介

1.1 什么是Flink

Flink

1.2 Flink特点

Flink
Flink

2 、Flink整体架构

Flink
Flink

3、环境搭建

计与standalone模式是Flink自带的分布式集群模式,不依赖其他的资源调度框架。
下面是本人计与standalone模式下环境搭建。以后讲解均以该环境。采用f版本link1.9.1。
安装环境:

  1. 三台Linux虚拟机进行免密登录,免密登录设置:https://www.linuxprobe.com/linux-ssh-login.html
  2. 配置好Jdk1.8以上的环境
    Flink

3.1 搭建步骤

  1. 下载flink安装包: https://flink.apache.org/downloads.html

  2. 将 flink-1.9.1-bin-scala_2.11.tgz 上传到centos-node-1服务器的/bigdata目录下

  3. 解压安装包

    [aaa@qq.com bigdata]# tar -xvf flink-1.9.1-bin-scala_2.11.tgz
    [aaa@qq.com bigdata] pwd
    /bigdata
    [aaa@qq.com bigdata] ll
    total 4
    drwxr-xr-x. 10 502 games 4096 Sep 30  2019 flink-1.9.1
    
  4. 修改flink-1.9.1/conf目录下的flink-conf.yaml配置文件

    vim /bigdata/flink-1.9.1/conf/flink-conf.yaml
    #设置jobmanager为centos—node-1
    jobmanager.rpc.address: centos-node-1 
    #指定taskmanager的可用槽位的数量
    taskmanager.numberOfTaskSlots: 2
    
  5. 修改修改flink-1.9.1/conf目录下的flink-conf.yaml配置文件

    vim /bigdata/flink-1.9.1/conf/slaves.yaml
    centos-node-2
    centos-node-3
    
  6. 避免无法启动centos-node-2/3上的taskManger,可以进如下修改

    vim /bigdata/flink-1.9.1/bin//taskmanager.sh 
    

    Flink

  7. 将配置好的flink-1.9.1复制到centos-node-2和centos-node-3上

    scp -r /bigdata centos-node-2:/
    scp -r /bigdata centos-node-3:/
    
  8. 在centos-node-1上启动flink

    cd /bigdata/flink-1.9.1/bin
    ./start-cluster.sh
    

    检查centos-node-1/2/3启动情况:

    [aaa@qq.com bin]# Jps
    13459 Jps
    4852 StandaloneSessionClusterEntrypoint
    
    [aaa@qq.com ~]# Jps
    13203 Jps
    4670 TaskManagerRunner
    
    [aaa@qq.com ~]# Jps
    13203 Jps
    4670 TaskManagerRunner
    
  9. 出现一下页面及按住成功,192.168.61.129就是centos-node-1地址
    Flink

相关标签: bigdata