欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

KafkaConsumer0.9(一) 博客分类: kafka kafka consumerkafka0.9 

程序员文章站 2024-03-26 13:51:11
...

Kafka0.9发布了新版consumer client。它与旧版本最大的区别是移除了基于zookeeper的high-level consumer和low-level SimpleConsumer,而代之于一个统一的consumer API,它集成了之前high-level consumer的group管理功能和low-level consumer的offset控制功能。

 

新的consumer实现了一套新的group管理机制,它使得consumer clients变得更简洁(真的比以前简洁很多。。。),并且获得更快的rebalancing。同时这个版本也完全解除了consumer client对zookeeper的依赖,直接访问kafka server使得consumer变得简单,并且能够使用到kafka server提供的安全(security)和配额机制(quota)。

 

这里多说一句,consumer不依赖zookeeper是对的,由于zookeeper本质上是一个cp而不是ap系统,它更适于用于服务协调而不是服务发现,因为对于后者来说,信息中可能包含错误总比没有信息要好。

 

为了让用户平滑地升级,0.8的consumer依然可以连接到0.9的kafka cluster。