kafka集群环境的搭建

kafka

简介

Apache Kafka是一个分布式流处理平台。
kafka特性：

• 快：单个kafka服务每秒可以处理数以千计客户端发来的几百MB数据。
• 可扩展：一个单一集群可作为一个大数据处理中枢，集中处理各种类型业务。
• 持久化：消息被持久化到磁盘(可以处理TB级别数据但仍保持极高数据处理效率)，并且有备份容错。
• 分布式：着眼于大数据领域，支持分布式，集群可处理每秒百万级别消息。
• 实时性：生产出来的消息可立即被消费者消费。

kafka组件：

• topic：消息存放的目录即主题。
• producer：生产消息到topic的一方。
• consumer：订阅topic消费消息的一方。
• broker：kafka的服务实例就是一个broker。

---

下载，安装

---

wget http://mirror.bit.edu.cn/apache/kafka/0.11.0.1/kafka_2.11-0.11.0.1.tgz
tar -zxvf kafka_2.11-0.11.0.1.tgz
cd kafka_2.11-0.11.0.1

---

配置

---

vim ./config/server.properties

修改如下几项：

broker.id=0 #若配置集群，则每个服务器的broker.id需不相同，只是一个broker的标识，但需是唯一的。并且meta.properties文件里面broker.id的值也应该做相应的修改，文件的位置在server.properties文件中可以看到。
listeners=PLAINTEXT://192.168.213.131:9092 #host.name和端口
zookeeper.connect=192.168.213.130:2181,192.168.213.131:2181,192.168.213.132:2181 #zookeeper集群的ip和端口，多个用逗号分隔。

完成之后，启动kafka.

---

启动

---

kafka集群中的每一个服务器都需要执行下面命令进行启动

若已经配置zookeeper并启动了，则直接执行如下命令：

bin/kafka-server-start.sh config/server.properties

使用上面命令启动不能使用Ctrl+c终止，可以另开一个终端执行其他的命令。

或者执行下面命令从后台启动：

bin/kafka-server-start.sh -daemon config/server.properties

下面这个命令也可以启动（推荐）：

nohup bin/kafka-server-start.sh config/server.properties &

按Ctrl+c终止，并会生成nohup.out文件，里面是启动日志，有错误的话会打印在文件中。

可以通过命令netstat -tupln查看9092(默认)端口是否启动。

可以通过命令jps查看kafka是否启动成功。

若没有安装zookeeper，kafka也已经提供了zookeeper单机模式，执行如下命令可开启单节点zookeeper实例。

bin/zookeeper-server-start.sh config/zookeeper.properties

可能会出现的错误：

• 在虚拟机上运行时，可能出现内存不够的错误，可以在日志中查看具体情况，一种做法是增加swap space，这个比较容易实现，具体操作问度娘。

• Will not attempt to authenticate using SASL (unknown error) (org.apache.zookeeper.ClientCnxn)
  该错误可以通过修改/etc/hosts文件中主机名的ip,主机名可以通过hostname查看，ip可以是本地循环地址（127.0.0.1），或者是ipv4地址。

---

测试

---

• 首先创建一个名为test的topic，选项含义可以直接敲入不带选项的下面的命令进行查看。

    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

• 查看topic

    bin/kafka-topics.sh --list --zookeeper localhost:2181

具体信息可以通过下面命令查看：

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

• 发送消息

    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

出现>符号后就可以输入内容，并敲回车，之后可以直接Ctrl+c终止，或者另打开一个终端执行下面命令。

• 接收消息

    bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

执行命令后就可以看到刚才输入的信息内容，表明收发消息成功了。

伪集群模式可以参考http://kafka.apache.org/quickstart
有关kafka更详细的内容介绍请参考kafka中文文档http://ifeve.com/kafka-1/

END