Flink实例-Wordcount详细步骤

link实例之Wordcount详细步骤

1.我的IDE是IntelliJ IDEA.在官网上https://www.jetbrains.com/idea/下载最新版2018.2的IDEA，如下图。破解可以再http://idea.lanyus.com/上获取破解码进行破解，如下图。

 

2.当IDE准备就绪后，开始创建一个项目名为bbb的maven项目，如下图。

 

3.在新窗口打开bbb项目时，IDEA会提示我们是否自动导包。选择自动导包，如下图。

 

 4.对pom.xml配置文件进行修改，如下代码。

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.xiao</groupId>
    <artifactId>bbb</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.2.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.10</artifactId>
            <version>1.2.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.10</artifactId>
            <version>1.2.0</version>
        </dependency>

    </dependencies>

</project>

5.在src/main/java/目录下新建一个类，我的类名为WordCount，如下代码。

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.utils.ParameterTool;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.util.Collector;


public class WordCount {

    public static void main(String[] args) throws Exception {
        //定义socket的端口号
        int port;
        try{
            ParameterTool parameterTool = ParameterTool.fromArgs(args);
            port = parameterTool.getInt("port");
        }catch (Exception e){
            System.err.println("没有指定port参数，使用默认值9000");
            port = 9000;
        }

        //获取运行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        //连接socket获取输入的数据
        DataStreamSource<String> text = env.socketTextStream("10.192.12.106", port, "\n");

        //计算数据
        DataStream<WordWithCount> windowCount = text.flatMap(new FlatMapFunction<String, WordWithCount>() {
            public void flatMap(String value, Collector<WordWithCount> out) throws Exception {
                String[] splits = value.split("\\s");
                for (String word:splits) {
                    out.collect(new WordWithCount(word,1L));
                }
            }
        })//打平操作，把每行的单词转为<word,count>类型的数据
                .keyBy("word")//针对相同的word数据进行分组
                .timeWindow(Time.seconds(2),Time.seconds(1))//指定计算数据的窗口大小和滑动窗口大小
                .sum("count");
               
        //把数据打印到控制台
        windowCount.print()
                .setParallelism(1);//使用一个并行度
        //注意：因为flink是懒加载的，所以必须调用execute方法，上面的代码才会执行
        env.execute("streaming word count");

    }

    /**
     * 主要为了存储单词以及单词出现的次数
     */
    public static class WordWithCount{
        public String word;
        public long count;
        public WordWithCount(){}
        public WordWithCount(String word, long count) {
            this.word = word;
            this.count = count;
        }

        @Override
        public String toString() {
            return "WordWithCount{" +
                    "word='" + word + '\'' +
                    ", count=" + count +
                    '}';
        }
    }


}

6.开启IP为10.192.12.106的虚拟机，并开启该虚拟机的终端，在终端输入如下命令，该命令可以打开一个端口号为9000的监听，输入命令后光标会停留在如下图的地方。

nc -l 9000

7.切换回IDEA，在菜单栏Build->Build Project，然后运行该类，当控制台console输出如下图所示的信息时表示Wordcount成功的与9000的监听端口建立了连接。

 

8.在虚拟机终端开的光标停留出，输入hello hello world world world world，然后 回车。在IDEA的控制台会显示如下单词和词频的信息，表示成功。

 9.接下来把项目bbb打jar包，上传Flink后台运行，进行如下图操作。

首先要保证Java Compiler版本为1.8。

 

然后选择File->Project Structure，进行修改。

 

10.在配置好Flink的虚拟机下，进入目录/opt/data/flink-1.3.2/bin中，输入如下命令，开启Flink的本地模式。（不会配置flink的小伙伴可以打开链接https://www.cnblogs.com/ALittleMoreLove/p/9396118.html）

./start-local.sh

11.在浏览器里输入开启Flink守护进程的虚拟机的IP和8081端口，进入如下Flink前端页面。

 12.上传bbb.jar文件到Flink后端运行。

备注：在学习大数据的漫长道路上，我们会遇到各种各样奇怪的问题，在尝试了多种方法仍然无法解决后 如果再没有高人指点，经常一个问题就卡好几天。这种无奈与绝望的感觉我想各位自学大数据的小伙伴们应该深有体会。我个人解决问题通常有两种方法：一种是直接找大牛帮忙，另外一种是在网上找各种相关的博客和帖子，再从中总结出一套可以解决自己问题的方法。自己探索新知识时，往往是很艰辛的，遇到好多天也解决不了的问题也是很正常的，但是千万不要放弃，坚持下来就一定会有收获的！Wordcount实例令我躺了两天的坑，最后终于找到了解决的方法，希望这篇随笔可以对自学大数据的小伙伴提供一定的帮助。