kafka集群的搭建

1、新建三台虚拟机
我这里新建的三台虚拟机的IP分别是192.168.64.200、192.168.64.201、192.168.64.202
2、首先搭建好zookeeper集群
zookeeper集群的搭建，具体可以参考博客ZooKeeper集群的搭建
3、下载好kafka的压缩包，并解压
4、解压后分别修改kafka的conf/server.properties 配置文件，修改内容如下：

borker.id=1
listeners=PLAINTEXT://192.168.64.200:9092
advertised.listeners=PLAINTEXT://192.168.64.200:9092
log.dirs=/usr/local/src/kafka_2.11-2.0.0/logs

borker.id=2
listeners=PLAINTEXT://192.168.64.201:9092
advertised.listeners=PLAINTEXT://192.168.64.201:9092
log.dirs=/usr/local/src/kafka_2.11-2.0.0/logs

borker.id=3
listeners=PLAINTEXT://192.168.64.202:9092
advertised.listeners=PLAINTEXT://192.168.64.202:9092
log.dirs=/usr/local/src/kafka_2.11-2.0.0/logs

• logs目录如果没有的话，需要自己新建
• 如果是通过克隆虚拟机的话，还需要修改logs/meta.properties文件中的broker.id属性，其中，值为当前kafka的broker.id
  5、启动kafka
  ./kafka-server-start.sh config/server.properies
• 启动后可以看到broker.id = 1 started的提示
  6、创建topic
  ./kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test
• 创建了一个名为test1的topic
  7、查看topic列表
  ./kafka-topics.sh –list –zookeeper localhost:2181
  8、生产消息
  ./kafka-console-producer.sh –broker-list localhost:9092 –topic test
  9、消费消息
  ./kafka-console-consumer.sh –zookeeper localhost:9092 –topic test –from-beginning（已过期）
  ./kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic test –from-beginning
  10、查看描述topic信息
  ./kafka-topic.sh –describe –zookeeper localhost:2181 –topic test