kafka系列-入门篇之安装
前言
Kakfa经过几年的时间,终于来到了2.x的正式版本。不过在0.8.x的版本就有不少公司已经在生产环境上使用了,也可以说明它在大数据生态圈的地位是非常重要的。经过几个版本的迭代,API发生了一些变化,增加了一些新的特性,这些我们在后面的文章再来慢慢道来吧,今天我们从kafka的安装开始。前期准备
我们知道大数据是从Hadoop发展而来,但是kafka的安装还不是必需使用hdfs、mapreduce和yarn。在安装kafka之前需要安装JDK 1.7以上,建议使用JDK1.8。
kafka对于操作系统的兼容性是十分好的,无论你使用的是linux、macos还是windows,都是可以正常的使用。
安装
下载kafka安装包,解压后的目录如下。
- bin目录下是执行文件。bin下不但有kafka的执行文件,还包括了zookeeper的执行文件。如果你安装了zookeeper可以不用使用这里的zookeeper。
- config目录下是配置文件。同样,该目录下有kafka和zookeeper的配置文件
- libs目录下是kafka相关的jar包。
- site-docs目录下是kafka的文档。
解压完后,就算是安装完了。你也可以配置一下环境变量,方便在终端执行命令。按照下面的命令操作,可以不用配置环境变量。后面的命令都是在前台执行的,也就是说每个命令执行都需要新建一个窗口。
启动zookeeper
如果你之前安装zookeeper,那么也可以启动你之前安装的zookeeper。
进入解压的kafka目录
对于linux或者macos操作系统,执行zookeeper的shell文件
bin/zookeeper-server-start.sh config/zookeeper.properties
对于window操作系统,请执行对应的bin/windows下的bat文件
bin/windows/zookeeper-server-start.bat config/zookeeper.properties
启动kafka
对于linux或者macos操作系统,执行kafka的shell文件
bin/kafka-server-start.sh config/server.properties
对于windows操作系统用户,请执行对应的bin/windows目录下的bat文件
bin/windows/kafka-server-start.bat config/server.properties
测试消息发送
创建一个topic
对于linux或者macos操作系统,执行kafka的shell文件
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
对于windows操作系统用户,请执行对应的bin/windows目录下的bat文件
bin/windows/kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
启动producer
对于linux或者macos操作系统,执行kafka的shell文件
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
对于windows操作系统,执行kafka的bat文件
bin/windows/kafka-console-producer.bat --broker-list localhost:9092 --topic test
启动consumer
对于linux或者macos操作系统,执行kafka的shell命令
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
对于windows操作系统,执行kafka的bat命令
bin/windows/kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test
发送消息
在producer窗口发送一个测试消息
在consumer窗口收到了来自producer的消息
上一篇: nginx
推荐阅读
-
Python踩坑系列之安装pycrypto报错:“Microsoft Visual C++14.0 is required”问题。
-
Node.js系列之安装配置与基本使用(1)
-
k8s入门系列之集群安装篇
-
Flink源码阅读系列之Kafka Connector
-
爬虫系列之数据质量监控(三):kafka统一接口处理逻辑分析
-
爬虫系列之数据质量监控(三):kafka统一接口处理逻辑分析
-
Kubernetes安装系列之Master-scheduler安装
-
kafka系列-入门篇之安装
-
《Nginx系列》之青铜入门篇 反向代理 负载均衡 动静分离就是这么简单
-
从 0 开始学习 Linux 系列之「04.安装 4 个必备的 vim 插件」