Linux下Kafka单机安装配置方法(图文)

介绍

kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？

首先让我们看几个基本的消息系统术语：

•kafka将消息以topic为单位进行归纳。
•将向kafka topic发布消息的程序成为producers.
•将预订topics并消费消息的程序成为consumer.
•kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.
producers通过网络将消息发送到kafka集群，集群向消费者提供消息，如下图所示：

客户端和服务端通过tcp协议通信。kafka提供了java客户端，并且对多种语言都提供了支持。

说明：

操作系统：centos 6.x 64位

kafka版本：kafka_2.11-0.8.2.1

实现目的：

单机安装配置kafka

具体操作：

一、关闭selinux、开启防火墙9092端口

1、关闭selinux

vi /etc/selinux/config

#selinux=enforcing #注释掉

#selinuxtype=targeted #注释掉

selinux=disabled #增加

:wq! #保存退出

setenforce 0 #使配置立即生效

2、配置防火墙，开启9092端口

vi /etc/sysconfig/iptables #编辑防火墙配置文件

# firewall configuration written by system-config-firewall

# manual customization of this file is not recommended.

*filter

:input accept [0:0]

:forward accept [0:0]

:output accept [0:0]

-a input -m state --state established,related -j accept

-a input -p icmp -j accept

-a input -i lo -j accept

-a input -m state --state new -m tcp -p tcp --dport 22 -j accept

-a input -m state --state new -m tcp -p tcp --dport 9092 -j accept

-a input -j reject --reject-with icmp-host-prohibited

-a forward -j reject --reject-with icmp-host-prohibited

commit

:wq! #保存退出

service iptables restart #最后重启防火墙使配置生效

二、安装jdk

kafka运行需要jdk支持

1、下载jdk

http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.rpm

注意:直接复制到下载工具进行下载，版本请使用jdk7，jdk8有可能不兼容kafka_2.11-0.8.2.1

下载完成之后，上传到/usr/local/src目录下

2、安装jdk

cd /usr/local/src

chmod +x jdk-7u79-linux-x64.rpm # 添加执行权限

rpm -ivh jdk-7u79-linux-x64.rpm #安装

安装完成之后，可以cd /usr/java/ 到安装目录查看

3、添加jdk到系统环境变量

vi /etc/profile #编辑，在最后添加以下代码

java_home=/usr/java/jdk1.7.0_79

path=$path:$java_home/bin:/usr/bin:/usr/sbin:/bin:/sbin:/usr/x11r6/bin

classpath=.:$java_home/lib/tools.jar:$java_home/lib/dt.jar

export java_home

export path

export classpath

:wq! #保存退出

source /etc/profile #使配置文件立即生效

java -version #查看jdk版本信息

到此，jdk安装完成。

三、安装kafka

1、下载kafka

cd /usr/local/src

wget http://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz

注意，kafka_2.11-0.8.2.1.tgz版本是已经编译好的版本，解压就能使用。

tar -xzvf kafka_2.11-0.8.2.1.tgz #解压

mv kafka_2.11-0.8.2.1 /usr/local/kafka #移动到安装目录

2、配置kafka

mkdir /usr/local/kafka/log/kafka #创建kafka日志目录

cd /usr/local/kafka/config #进入配置目录

vi server.properties #编辑修改相应的参数

broker.id=0

port=9092 #端口号

host.name=192.168.0.11 #服务器ip地址，修改为自己的服务器ip

log.dirs=/usr/local/kafka/log/kafka #日志存放路径，上面创建的目录

zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181

:wq! #保存退出

3、配置zookeeper

mkdir /usr/local/kafka/zookeeper #创建zookeeper目录

mkdir /usr/local/kafka/log/zookeeper #创建zookeeper日志目录

cd /usr/local/kafka/config #进入配置目录

vi zookeeper.properties #编辑修改相应的参数

datadir=/usr/local/kafka/zookeeper #zookeeper数据目录

datalogdir=/usr/local/kafka/log/zookeeper #zookeeper日志目录

clientport=2181

maxclientcnxns=100

ticktime=2000

initlimit=10

synclimit=5

:wq! #保存退出

四、创建启动、关闭kafka脚本

cd /usr/local/kafka

#创建启动脚本

vi kafkastart.sh #编辑，添加以下代码

#!/bin/sh

#启动zookeeper

/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &

sleep 3 #等3秒后执行

#启动kafka

/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

:wq! #保存退出

#创建关闭脚本

vi kafkastop.sh #编辑，添加以下代码

#!/bin/sh

#关闭zookeeper

/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &

sleep 3 #等3秒后执行

#关闭kafka

/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &

:wq! #保存退出

#添加脚本执行权限

chmod +x kafkastart.sh

chmod +x kafkastop.sh

五、设置脚本开机自动执行

vi /etc/rc.d/rc.local #编辑，在最后添加一行

sh /usr/local/kafka/kafkastart.sh & ＃设置开机自动在后台运行脚本

:wq! #保存退出

sh /usr/local/kafka/kafkastart.sh #启动kafka

sh /usr/local/kafka/kafkastop.sh #关闭kafka

至此，linux下kafka单机安装配置完成。

扩展阅读：

kafka创建topic

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181 test

/usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test --from-beginning