Flume简单介绍

Flume简介

1.Flume的定义

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

所以通常flume用来数据的采集，并且把采集来的数据传输到hdfs，或者kafka，这个数据可以从服务器本地磁盘文件夹采集或者网络端口数据。

Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HFDS

2.Flume基础架构

Flume组成架构有四个：Source，Channel，Sink，Agent

1.Agent

Agent 是一个 JVM 的进程，它以事件的的形式将数据从源头送至目的地。注意只是一个进程，也就是说这个FlumeAgent 后面还可以继续接一个FlumeAgent. Agent主要有3个部分组成，Source、Channel、Sink

事件的形式：也就是说在数据传输过程中，每一条数据被封装成一个个事件对象（event）来进行传输。数据是在source中被封装成一个个的event(事件)对象，这是Fulme中的传输单元。

Flume在会将采集来的数据封装成一个个的事件对象作为flume传输的基本单元，来进行数据的传输。那么这个事件对象的结构又是怎么样的呢？

Event

传输单元，Flume数据传输的基本单元，以Event的形式将数据从源头送至目的地。Event由**Header**和**Body**	两部分组成，Header用来存放该event的一些属性，为K-V结构，Body用来存放该条数据，形式为字节数组。

2.Source

Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型，各种格式的的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、 taildir 、sequence generator、syslog、http、legacy。

3.Channel

Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。如果source端过快，也就是数据采集的过快，而Sink端来不及将事件上传，那么就可以存储在Channel中，等待Sink处理。

Flume自带两种Channel：Memory Channel和File Channel。

Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。

File Channel是将事件(event)存储在磁盘上，就会更加安全，如果担心数据丢失就可以用File Channel。

4.Sink

Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。

Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。

监视某个文件夹中，每次增加新文件，就会同步到hdfs中.

spoll 支持的是新文件，标记末尾是.COMPLETED

taildir监视某个文件夹下的已有文件中的内容，每次文件中内容添加，就会同步到hdfs中去

COMPLETED

taildir监视某个文件夹下的已有文件中的内容，每次文件中内容添加，就会同步到hdfs中去

本文地址：https://blog.csdn.net/williamccc/article/details/108208345