欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

配置和官方最简案例(NetCatSource、LoggerSink)

程序员文章站 2022-05-23 10:35:25
Flume(1)——配置和官方最简案例(NetCat Source、Logger Sink) Flume组成部分 Flume的主要组成部分就是Age...

Flume(1)——配置和官方最简案例(NetCat Source、Logger Sink)

Flume组成部分

配置和官方最简案例(NetCatSource、LoggerSink)

Flume的主要组成部分就是Agent和Agent中的Source、Channel、Sink。Source、Channel、Sink都有固定类型的支持。只要配置了适当类型的组件就可以传输数据了。例如:

NetCat Source:从socket端口获取数据作为Source

Kafka Source:从Kafka获取数据作为Source

Logger Sink:将数据写入到Logger

Kafka Sink:将数据写入到Kafka

HDFS Sink:将数据写入到HDFS

Flume下载

配置和官方最简案例(NetCatSource、LoggerSink)

Flume安装

解压到一个目录即可。

配置和官方最简案例(NetCatSource、LoggerSink)

flume目录结构

配置和官方最简案例(NetCatSource、LoggerSink)

(可选操作)配置环境变量

配置和官方最简案例(NetCatSource、LoggerSink)

Flume配置

修改flume-env.sh.template为flume-env.sh

配置和官方最简案例(NetCatSource、LoggerSink)

JAVA_HOME配置项

如果环境变量配置了JAVA_HOME,这里也可以不配置。

配置和官方最简案例(NetCatSource、LoggerSink)

JAVA_OPTS配置项

可以通过这个参数配置设置Java内存的大小。

配置和官方最简案例(NetCatSource、LoggerSink)

查看Flume版本

flume-ng version

配置和官方最简案例(NetCatSource、LoggerSink)