欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

flume使用hdfs sink时需要注意的几点

程序员文章站 2022-05-12 10:13:14
...

最近接触了flume,这个日志收集器在扩展性方面确实很便捷,相信这与其架构的设计有密切的关系。书归正传,这次用到了hdfs sink在使用时还是有几点需要注意的,在此和大家分享一下。

 

第一部分windows下搭建单机的hdfs

如果你和我一样没有linux的测试环境,想在windows搭建hdfs,可以参考下面的链接,笔者就是参照这篇文章进行部署的

http://blog.csdn.net/jiutianhe/article/details/17709717

需要注意的是windows下使用hdfs需要依赖hadoop.dll winutils.exe等,此处有两点需要注意

1. hadoop.dll winutils.exe在官方的bin包中没有,可以通过源码编译或者在网上下载已经编译好的

2. 在2.2版本后这些依赖包,均发生了改变,也就是说低版本的这些依赖,在高版本上使用会报错

 

 

第二部分hdfs sink

1.需要把hadoop的包引入到%flume_home%/lib中

1.1 hadoop-common 不引入会报错 classNotFound SequenceFile

1.2 hadoop-hdfs 不引入会报错 no filesystem for scheme hdfs

1.3 flume-ng启动时的classpath需要加入%hadoop_home%/share/hadoop/common/lib ,这主要是hadoop-common依赖的jar在那个目录

1.4hdfs需要event的header里要带时间戳,如果没有可以通过设置hdfs.useLocalTimeStamp=true来使用本地时间戳

 

以上就是在使用时,需要注意的地方,如果感兴趣就行动起来吧,想的再多,也不如动手试试。

最近一直在接触flume,后期可能会写一些flume的源码及架构解读。

 

相关标签: flume hdfs sink