flume 对接spark streaming 博客分类： flume flume对接spark streaming

1.flume对接kafka的两种方式：pull 和 push 流程如下：

 

 

2.两者的区别

 

3.使用pull方式可能遇到的问题：

本地测试环境：

• spark 2.3
• flume 1.8

   使用pull方式，flume报错如下：

  （官网上存在这个bug，尚未修复：https://issues.apache.org/jira/browse/SPARK-17152）

 

java.lang.IllegalStateException: begin() called when transaction is OPEN!

 

 

网上的解决方法:

这个报错是因为scala版本问题造成，把flume lib下的scala-library版本替换掉即可（亲测，好用）