欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Flume入门,基础,学习笔记

程序员文章站 2022-07-03 14:26:35
什么是Flume?Flume是一种分布式,可靠且可用的系统,用于有效地收集,聚合和移动大量日志数据.Flume组成Agent:Agent是Flume最重要的组成部分,Flume系统就是由一个一个的Agent组成的.Source:Agent的内部组件,用于接收日志数据,并将其封装成一个一个的event,然后传给Channel.event:Flume系统内部将日志数据封装成event进行传输,event的结构是json串.Channel:传输通道,被动的接收Source传来的数据,并进行...

目录

 

什么是Flume?

Flume组成

Flume结构图

简单结构

复杂结构


什么是Flume?

Flume是一种分布式,可靠且可用的系统,用于有效地收集,聚合和移动大量日志数据.

Flume组成

Agent:Agent是Flume最重要的组成部分,Flume系统就是由一个一个的Agent组成的.

Source:Agent的内部组件,用于接收日志数据,并将其封装成一个一个的event,然后传给Channel.

event:Flume系统内部将日志数据封装成event进行传输,event的结构是json串.

Channel:传输通道,被动的接收Source传来的数据,并进行缓存.

Sink:目的地,接收event,并将其拆封成原始数据(也可不拆).

Flume结构图

简单结构

Flume将WebServer产生的日志数据接收到,传输给HDFS进行保存.

Flume入门,基础,学习笔记

复杂结构

多级流动,扇入扇出.

Flume入门,基础,学习笔记

本文地址:https://blog.csdn.net/yuyangchenhao/article/details/107199407