欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

Flume-概述,基础架构,组件介绍

程序员文章站 2022-06-27 21:05:34
文章目录Flume概述Flume基础架构AgentEventSourceSinkChannelFlume概述Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of log data from many different sources to a centralized data store.Flum...



Flume概述

Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of log data from many different sources to a centralized data store.

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。(实时日志传输
Flume-概述,基础架构,组件介绍

Flume基础架构

Flume-概述,基础架构,组件介绍

Agent

Agent是一个JVM进程,它以事件(Event)的形式将数据从源头送至目的。

Agent主要有3个部分组成,Source、Channel、Sink

Event

传输单元,Flume数据传输的基本单元,以 Event 的形式将数据从源头送至目的地。Event 由 HeaderBody 两部分组成,Header 用来存放该 event 的一些属性,为K-V结构,Body 用来存放该条数据,形式为字节数组。
Flume-概述,基础架构,组件介绍

Source

Source:是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据。
包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。

Sink

Sink:是负责输出数据不断地轮询Channel中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。
Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。

Channel

Channel:是位于Source和Sink之间的缓冲区。因此,Channel 允许Source 和 Sink 运作在不同的速率上Channel是线程安全的,可以同时处理几个Source的写入操作和几个Sink的读取操作

Flume自带两种Channel:Memory ChannelFile Channel

Memory Channel 是内存中的队列。Memory Channel 在不需要关心数据丢失的情景下适用。如果需要关心数据丢失,那么Memory Channel就不应该使用,因为程序死亡、机器宕机或者重启都会导致数据丢失。

File Channel 是将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

本文地址:https://blog.csdn.net/qq_32727095/article/details/107872470

相关标签: Flume 大数据