[metaq]Consumer metaqpullconsumerkafka

Metaq是一个类是kafka的消息系统，开源地址https://github.com/killme2008/Metamorphosis。

基于Pull的消息系统，consumer端保持了很多逻辑，比如当前拉取消息的offset，loadbalance等，使用zookeeper作为coordination。

简单类图

核心类ZKLoadRebalanceListener，负责集群感知，当有broker退出或consumer退出时，重新balance。

FetchManager是具体的worker线程，负责从处理FetchRequest，从某一个partition拉去数据，并回掉业务方的接口实现

 

其实现流程

1.注册consumer id

/meta/consumers/meta-example/ids新建临时节点，data为topicString，就是这个consumer订阅了那些topic

2.loadBalanceListener监听/meta/consumers/meta-example/ids children consumer数目变化

3.loadBalanceListener监听/meta/brokers/topics-sub/meta-test children分区变化

4.主动balance，分区和同组consumer之间均分

 

4.1 /meta/consumers/meta-example/ids下读取自己刚才写入的data，topics列表，构造一个myConsumerPerTopicMap，topic-->consumer

4.2 /meta/brokers/topics-sub/ids下读取所有brokers信息，成为Cluster

4.3 /meta/consumers/meta-example/ids读取所有consumer

4.4 /meta/consumers/meta-example/ids读取consumer的data，topics列表，构造一个consumersPerTopicMap，topic-->consumer list

4.5 拿自己订阅的topics的所有分区，partitionsPerTopicMap，topic-->partition list

4.5.1 /meta/brokers/topics-sub/meta-test读取所有children

4.5.2 每个child代表一个broker，其data为‘{"broker":"0-m","numParts":2}’，保存broker的分区信息

4.5.3 构造一个partList代表这个topic的所有分区信息，单个分区类是‘0-0’，‘0-1’

4.6 看看自己订阅的topic里，有哪些topic的broker或者分区有变化，初始化时old为空，都不一样，返回relevantTopicConsumerIdMap，topic-->consumer

4.7 暂停Fetcher

4.8 提交offset

4.9 对于每个变化的topic，根据负载均衡策略获取这个consumer对应的partition列表

4.10 查看当前这个topic的分区列表，查看是否有变更，topicRegistry中

4.11 新分配的分区添加，/meta/consumers/meta-example/owners/meta-test下创建临时节点，名称为分区名‘0-0’，data为consumerId

4.12 拿offset信息，/meta/consumers/meta-example/offsets/meta-test/0-0的data，内容如‘251537821439885312-545’，前为msgId，后为offset

4.13 初始化时，认为offset为0

4.14 分配给自己的分区随机取master或slave的一个读，master和slave的brokerId一样

4.15 添加FetchRequest到FetchManager

4.16 给需要请求的broker创立连接

4.17 关闭之前创建的无用的连接

4.18 启动fetch线程

 

5.FetchRequestRunner启动，开始拉数据

5.1 组装GetCommand，发送，戴上offset信息，每次取1M 

5.2 返回的数据弄一个MessageIterator包装下

6 数据处理

6.1 判断FetchRequest的重试次数是否超过限制，默认5次，超过则存本地，跳过这跳消息，继续消费

6.2 decodeMessage成message对象

6.3 调用业务接口

6.4 消息处理完后，ack request，修改内存中的TopicPartitionRegInfo的offset信息，后续Timer线程会commit

6.5 重新添加请求，继续拉取数据

 

Timer线程扫描topicRegistry中的所有topic的offset内存数据，修改对应zk中的offset节点中数据，比如‘/meta/consumers/meta-example/offsets/meta-test/0-0’

 

小节

1.partition由broker指定，同一个broker可以制定多个partition

2.每个partion只能分配给同一个group下的的一个consumer

3.每个consumer可以分配多个partition，订阅多个topic

4.consumer集群变化时执行load balance，重新分配partition

5.提交offset使用异步批量提交