欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python 基于pykafka简单实现KAFKA消费者

程序员文章站 2022-03-11 07:57:57
基于pykafka简单实现KAFKA消费者 By: 授客 QQ:1033553122 1.测试环境 python 3.4 zookeeper-3.4.13.tar.gz 下载地址1: http://zookeeper.apache.org/releases.html#download https:/ ......

基于pykafka简单实现kafka消费者

  by: 授客 qq:1033553122

 

 

 

 

1.测试环境

python 3.4

 

zookeeper-3.4.13.tar.gz

下载地址1:

 

下载地址2:

https://pan.baidu.com/s/1dnbghvyse9pvrzxjvmezyq

 

kafka_2.12-2.1.0.tgz

下载地址1:

下载地址2:

https://pan.baidu.com/s/1vnhkjgy4iq73j5rlbel0jw

 

pykafka-2.8.0.tar.gz

下载地址1:

 

 

2.问题描述

使用python-kafka类库实现kafka消费者时,发现程序有时候会自动停止消费,对一些参数进行配置后无果,换成pykafka类库实现,搞定

 

 

3.代码简单实现

 

 

#-*- encoding:utf-8 -*-

 

__author__ = 'shouke'

 

from pykafka import kafkaclient

 

 

client = kafkaclient(hosts="127.0.0.1:9092")

 

# 获取主题

print(client.topics)

 

topic = client.topics['my_topic1']

 

# 获取消费者

consumer  = topic.get_balanced_consumer('my_group1', auto_commit_enable=true, auto_commit_interval_ms=3000)

for message in consumer:

    if message is not none:

        print(message.offset, message.value)

 

 

 

参考链接: