Python 基于pykafka简单实现KAFKA消费者
程序员文章站
2022-03-11 07:57:57
基于pykafka简单实现KAFKA消费者 By: 授客 QQ:1033553122 1.测试环境 python 3.4 zookeeper-3.4.13.tar.gz 下载地址1: http://zookeeper.apache.org/releases.html#download https:/ ......
基于pykafka简单实现kafka消费者
by: 授客 qq:1033553122
1.测试环境
python 3.4
zookeeper-3.4.13.tar.gz
下载地址1:
下载地址2:
https://pan.baidu.com/s/1dnbghvyse9pvrzxjvmezyq
kafka_2.12-2.1.0.tgz
下载地址1:
下载地址2:
https://pan.baidu.com/s/1vnhkjgy4iq73j5rlbel0jw
pykafka-2.8.0.tar.gz
下载地址1:
2.问题描述
使用python-kafka类库实现kafka消费者时,发现程序有时候会自动停止消费,对一些参数进行配置后无果,换成pykafka类库实现,搞定
3.代码简单实现
#-*- encoding:utf-8 -*-
__author__ = 'shouke'
from pykafka import kafkaclient
client = kafkaclient(hosts="127.0.0.1:9092")
# 获取主题
print(client.topics)
topic = client.topics['my_topic1']
# 获取消费者
consumer = topic.get_balanced_consumer('my_group1', auto_commit_enable=true, auto_commit_interval_ms=3000)
for message in consumer:
if message is not none:
print(message.offset, message.value)
参考链接: