kafka配置文件详解

#指定节点列表  
metadata.broker.list=kafka01:9092,kafka02:9092,kafka03:9092    
  
  
#指定分区处理类。默认kafka.producer.DefaultPartitioner  
#partitioner.class=kafka.producer.DefaultPartitioner  
  
  
#是否压缩,0代表不压缩,1代表用gzip压缩,2代表用snappy压缩  
compression.codec=0  
  
  
#指定序列化处理类  
serializer.class=kafka.serializer.DefaultEncoder    
  
  
#如果要压缩消息，这里指定哪些topic要压缩消息，默认是empty，表示不压缩  
#compressed.topics=  
  
  
#设置发送数据是否需要服务端的反馈，有三个值0，1，-1  
# 0:producer不会等待broker发送ack  
# 1:当leader接收到消息后发送ack  
# -1:当所有的follower都同步消息成功后发送ack  
request.required.acks=0  
  
  
#在向producer发送ack之前，broker均需等待的最大时间  
request.timeout.ms=10000  
  
  
#sync同步（默认），async异步可以提高发送吞吐量  
producer.type=async  
  
  
#在async模式下，当message缓存超时后，将会批量发送给broker,默认5000ms  
#queue.buffering.max.ms=5000  
  
  
#在async模式下，Producer端允许buffer的最大消息量  
queue.buffering.max.messages=20000  
  
  
#在async模式下，指定每次批量发送的数据量，默认200  
batch.num.messages=500  
  
  
#当消息在producer端沉积的条数达到“queue.buffering.max.messages"后  
#阻塞一定时间后，队列仍然没有enqueue（producer仍然没有发送出任何消息）  
#此时producer可以继续阻塞，或者将消息抛弃  
# -1：无阻塞超时限制，消息不会被抛弃  
# 0 ：立即清空队列，消息被抛弃  
queue.enqueue.timeout.ms=-1