Kafka 安装部署-单节点
目录
Kafka 安装部署-单节点
Kafka强依赖ZK，如果想要使用Kafka，就必须安装ZK，Kafka中的消费偏置信息、kafka集群、topic信息会被存储在ZK中。有人可能会说我在使用Kafka的时候就没有安装ZK，那是因为Kafka内置了一个ZK，一般我们不使用它。
Kafka 单节点部署
下载安装
下载Zookeeper并解压到指定目录
ZooKeeper官网：http://zookeeper.apache.org/
[aaa@qq.com soft]# tar -zxvf zookeeper-3.4.5.tar.gz -C /application/
配置ZK
配置zoo.cfg
拷贝zoo_sample.cfg文件重命名为zoo.cfg，然后修改dataDir属性
[aaa@qq.com soft]# cd /application/zookeeper-3.4.5/conf/
[aaa@qq.com conf]# cat zoo.cfg
....
# 数据的存放目录
dataDir=/application/zookeeper-3.4.5/data
# 端口，默认就是2181
clientPort=2181
....
[aaa@qq.com conf]#
配置环境变量
[aaa@qq.com ~]# cat /etc/profile
......
#ZooKeeper环境变量
export ZOOKEEPER_HOME=/application/zookeeper-3.4.5
export PATH=$PATH:$ZOOKEEPER_HOME/bin
......Zookeeper 启动停止命令
$ zkServer.sh start
$ zkServer.sh stop
Kafka 单节点单Broker部署及使用
部署架构
安装Kafka
http://kafka.apache.org/downloads
tar -zxvf kafka_2.10-0.10.2.1.tgz -C /application/
#然后分别在各机器上创建软连
cd /application/
ln -s kafka_2.10-0.10.2.1 kafka说明：
1）版本最好注意下；在Java调用kafka的时候可能有问题就是版本造成的；
配置Kafka
配置server.properties
进入kafka的config目录下，有一个server.properties，添加如下配置
# broker的全局唯一编号，不能重复
broker.id=0
#这个最好配置，否则Java调用报错
advertised.listeners=PLAINTEXT://192.168.2.191:9092
# 日志目录
log.dirs=/application/kafka/logs/kafka-logs
# 配置zookeeper的连接（如果不是本机，需要该为ip或主机名）
zookeeper.connect=localhost:2181
启动Kafka
启动Zookeeper
zkServer.sh start
启动Kafka
[aaa@qq.com application]# /application/kafka/bin/kafka-server-start.sh /application/kafka/config/server.properties
后台启动
nohup /application/kafka/bin/kafka-server-start.sh /application/kafka/config/server.properties &
创建topic
[aaa@qq.com ~]# /application/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Created topic "test".
[aaa@qq.com ~]# 说明：
1）--zookeeper：指定kafka连接zk的连接url，该值和server.properties文件中的配置项{zookeeper.connect}一样
2）--replication-factor：指定副本数量
3）--partitions：指定分区数量
4）--topic：主题名称
查看所有的topic信息
[aaa@qq.com ~]# /application/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181
TestTopic
WordCount
test
[aaa@qq.com ~]#
启动生产者
[aaa@qq.com ~]# /application/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
启动消费者
[aaa@qq.com ~]# /application/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning0.90版本之后启动消费者的方法：
[aaa@qq.com ~]# /application/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic productscanlog --from-beginning
测试
产者生产数据
[aaa@qq.com ~]# /application/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
aa
bb
hello world
hello kafka
消费者消费数据
[aaa@qq.com ~]# /application/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
aa
bb
hello world
hello kafka说明：
1）--from-beginning参数如果有表示从最开始消费数据，旧的和新的数据都会被消费，而没有该参数表示只会消费新产生的数据;
==============================
QQ群：143522604
群里有相关资源
欢迎和大家一起学习、交流、提升！
==============================
上一篇： 控制反转（ IoC）和依赖注入（DI）