kafka 配置与常用命令

kafka环境搭建

Kafka创建和删除topic

• 创建topic指定分区数量

  kafka_2.11-0.10.2.2/bin/kafka-topics.sh --create --zookeeper hostip:2181 --replication-factor 1 --partitions 1 --topic topic1
  

• 删除topic

  ./kafka_2.11-0.10.2.2/bin/kafka-topics.sh --delete --zookeeper hostip:2181 --topic topic1
  

kafka设置一条消息的大小限制

#server.properties
max.request.size=3097152
message.max.bytes=3097152

kafka设置某个topic的数据过期时间

kafka默认存放数据的期限为7天，用户可以根据磁盘空间、实验需要调整数据过期时间。

• 全局设置（server.properties）

  # 7200hours  = 300 days
  log.retention.hours=7200
  log.cleanup.policy=delete
  delete.topic.enable=true
  

• 单独对某一个topic设置过期时间

Kafka查看topic

• 查看topic-list

  bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list
  

• 查看某一topic的数据总量

  # hostip 为broker ip地址
  ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list hostip:9092 --topic topic1