欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

快速构建第一个Flink工程

程序员文章站 2022-07-09 20:46:49
本文简述通过maven和gradle快速构建的Flink工程。建议安装好Flink以后构建自己的Flink项目,安装与示例运行请查看: "Flink快速入门 安装与示例运行" . 在安装好Flink以后,只要快速构建Flink工程,并完成相关代码开发,就可以轻松入手Flink。 构建工具 Flink ......

快速构建第一个Flink工程

本文简述通过maven和gradle快速构建的flink工程。建议安装好flink以后构建自己的flink项目,安装与示例运行请查看:flink快速入门--安装与示例运行.

在安装好flink以后,只要快速构建flink工程,并完成相关代码开发,就可以轻松入手flink。

构建工具

flink项目可以使用不同的构建工具进行构建。为了能够快速入门,flink 为以下构建工具提供了项目模版:

这些模版可以帮助你搭建项目结构并创建初始构建文件。

maven

环境要求

唯一的要求是使用 maven 3.0.4 (或更高版本)和安装 java 8.x

创建项目

使用以下命令之一来 创建项目

使用maven archetypes

 $ mvn archetype:generate                               \
      -darchetypegroupid=org.apache.flink              \
      -darchetypeartifactid=flink-quickstart-java      \
      -darchetypeversion=1.9.0

运行quickstart脚本

 curl https://flink.apache.org/q/quickstart.sh | bash -s 1.9.0

快速构建第一个Flink工程

下载完成后,查看项目目录结构:

tree quickstart/
quickstart/
├── pom.xml
└── src
    └── main
        ├── java
        │   └── org
        │       └── myorg
        │           └── quickstart
        │               ├── batchjob.java
        │               └── streamingjob.java
        └── resources
            └── log4j.properties

示例项目是一个 maven project,它包含了两个类:streamingjobbatchjob 分别是 datastream and dataset 程序的基础骨架程序。
main 方法是程序的入口,既可用于ide测试/执行,也可用于部署。

我们建议你将 此项目导入ide 来开发和测试它。
intellij idea 支持 maven 项目开箱即用。如果你使用的是 eclipse,使用 可以
导入 maven 项目
一些 eclipse 捆绑包默认包含该插件,其他情况需要你手动安装。

请注意:对 flink 来说,默认的 jvm 堆内存可能太小,你应当手动增加堆内存。
在 eclipse 中,选择 run configurations -> arguments 并在 vm arguments 对应的输入框中写入:-xmx800m
在 intellij idea 中,推荐从菜单 help | edit custom vm options 来修改 jvm 选项。

构建项目

如果你想要 构建/打包你的项目,请在项目目录下运行 ‘mvn clean package’ 命令。命令执行后,你将 找到一个jar文件,里面包含了你的应用程序,以及已作为依赖项添加到应用程序的连接器和库:target/-.jar

注意: 如果你使用其他类而不是 streamingjob 作为应用程序的主类/入口,我们建议你相应地修改 pom.xml 文件中的 mainclass 配置。这样,flink 可以从 jar 文件运行应用程序,而无需另外指定主类。

gradle

环境要求

唯一的要求是使用 gradle 3.x (或更高版本) 和安装 java 8.x

创建项目

使用以下命令之一来 创建项目

gradle示例:

build.gradle

buildscript {
    repositories {
        jcenter() // this applies only to the gradle 'shadow' plugin
    }
    dependencies {
        classpath 'com.github.jengelman.gradle.plugins:shadow:2.0.4'
    }
}

plugins {
    id 'java'
    id 'application'
    // shadow plugin to produce fat jars
    id 'com.github.johnrengelman.shadow' version '2.0.4'
}


// artifact properties
group = 'org.myorg.quickstart'
version = '0.1-snapshot'
mainclassname = 'org.myorg.quickstart.streamingjob'
description = """flink quickstart job"""

ext {
    javaversion = '1.8'
    flinkversion = '1.9.0'
    scalabinaryversion = '2.11'
    slf4jversion = '1.7.7'
    log4jversion = '1.2.17'
}


sourcecompatibility = javaversion
targetcompatibility = javaversion
tasks.withtype(javacompile) {
    options.encoding = 'utf-8'
}

applicationdefaultjvmargs = ["-dlog4j.configuration=log4j.properties"]

task wrapper(type: wrapper) {
    gradleversion = '3.1'
}

// declare where to find the dependencies of your project
repositories {
    mavencentral()
    maven { url "https://repository.apache.org/content/repositories/snapshots/" }
}

// 注意:我们不能使用 "compileonly" 或者 "shadow" 配置,这会使我们无法在 ide 中或通过使用 "gradle run" 命令运行代码。
// 我们也不能从 shadowjar 中排除传递依赖(请查看 https://github.com/johnrengelman/shadow/issues/159)。
// -> 显式定义我们想要包含在 "flinkshadowjar" 配置中的类库!
configurations {
    flinkshadowjar // dependencies which go into the shadowjar

    // 总是排除这些依赖(也来自传递依赖),因为 flink 会提供这些依赖。
    flinkshadowjar.exclude group: 'org.apache.flink', module: 'force-shading'
    flinkshadowjar.exclude group: 'com.google.code.findbugs', module: 'jsr305'
    flinkshadowjar.exclude group: 'org.slf4j'
    flinkshadowjar.exclude group: 'log4j'
}

// declare the dependencies for your production and test code
dependencies {
    // --------------------------------------------------------------
    // 编译时依赖不应该包含在 shadow jar 中,
    // 这些依赖会在 flink 的 lib 目录中提供。
    // --------------------------------------------------------------
    compile "org.apache.flink:flink-java:${flinkversion}"
    compile "org.apache.flink:flink-streaming-java_${scalabinaryversion}:${flinkversion}"

    // --------------------------------------------------------------
    // 应该包含在 shadow jar 中的依赖,例如:连接器。
    // 它们必须在 flinkshadowjar 的配置中!
    // --------------------------------------------------------------
    //flinkshadowjar "org.apache.flink:flink-connector-kafka-0.11_${scalabinaryversion}:${flinkversion}"

    compile "log4j:log4j:${log4jversion}"
    compile "org.slf4j:slf4j-log4j12:${slf4jversion}"

    // add test dependencies here.
    // testcompile "junit:junit:4.12"
}

// make compileonly dependencies available for tests:
sourcesets {
    main.compileclasspath += configurations.flinkshadowjar
    main.runtimeclasspath += configurations.flinkshadowjar

    test.compileclasspath += configurations.flinkshadowjar
    test.runtimeclasspath += configurations.flinkshadowjar

    javadoc.classpath += configurations.flinkshadowjar
}

run.classpath = sourcesets.main.runtimeclasspath

jar {
    manifest {
        attributes 'built-by': system.getproperty('user.name'),
                'build-jdk': system.getproperty('java.version')
    }
}

shadowjar {
    configurations = [project.configurations.flinkshadowjar]
}

setting.gradle

rootproject.name = 'quickstart'

或者运行quickstart脚本

    bash -c "$(curl https://flink.apache.org/q/gradle-quickstart.sh)" -- 1.9.0 2.11

查看目录结构:

tree quickstart/
quickstart/
├── readme
├── build.gradle
├── settings.gradle
└── src
    └── main
        ├── java
        │   └── org
        │       └── myorg
        │           └── quickstart
        │               ├── batchjob.java
        │               └── streamingjob.java
        └── resources
            └── log4j.properties

示例项目是一个 gradle 项目,它包含了两个类:streamingjobbatchjobdatastreamdataset 程序的基础骨架程序。main 方法是程序的入口,即可用于ide测试/执行,也可用于部署。

我们建议你将 此项目导入你的 ide 来开发和测试它。intellij idea 在安装 gradle 插件后支持 gradle 项目。eclipse 则通过 eclipse buildship 插件支持 gradle 项目(鉴于 shadow 插件对 gradle 版本有要求,请确保在导入向导的最后一步指定 gradle 版本 >= 3.0)。你也可以使用 gradle’s ide integration 从 gradle 创建项目文件。

构建项目

如果你想要 构建/打包项目,请在项目目录下运行 ‘gradle clean shadowjar’ 命令。命令执行后,你将 找到一个 jar 文件,里面包含了你的应用程序,以及已作为依赖项添加到应用程序的连接器和库:build/libs/--all.jar

注意: 如果你使用其他类而不是 streamingjob 作为应用程序的主类/入口,我们建议你相应地修改 build.gradle 文件中的 mainclassname 配置。这样,flink 可以从 jar 文件运行应用程序,而无需另外指定主类。

未来,我们将分别介绍:flink流处理应用程序,flink批处理应用程序。

更多flink原理知识:

穿梭时空的实时计算框架——flink对时间的处理

大数据实时处理的王者-flink

统一批处理流处理——flink批流一体实现原理

更多实时计算,flink,kafka等相关技术博文,欢迎关注实时流式计算:

快速构建第一个Flink工程