Apache RocketMQ 消息队列部署与可视化界面安装
一、介绍
apache rocketmq是一个分布式、队列模型的消息中间件,具有低延迟、高性能和高可靠、万亿级容量和灵活的可扩展性。核心组件由四部分组成:name servers,brokers,producer 和 consumer;它们中的每一个都可以水平扩展,而没有单一的故障节点。
- nameserver:是一个几乎无状态的节点,可集群部署,节点之间无任何信息同步
- broker:部署相对复杂,broker分为master与slave,一个master可以对应多个slaver,但是一个slaver只能对应一个master,master与slaver的对应关系通过指定相同的brokername,不同的brokerid来定义,brokerid为0表示master,非0表示slaver。master可以部署多个。每个broker与nameserver集群中的所有节点建立长连接,定时注册topic信息到所有的nameserver
- producer:与nameserver集群中的其中一个节点(随机选择)建立长连接,定期从nameserver取topic路由信息,并向提供topic服务的master建立长连接,且定时向master发送心跳。produce完全无状态,可集群部署
- consumer:与nameserver集群中的其中一个节点(随机选择)建立长连接,定期从nameserver取topic路由信息,并向提供topic服务的master、slaver建立长连接,且定时向master、slaver发送心跳。consumer即可从master订阅消息,也可以从slave订阅消息,订阅规则由broker配置决定
二、mq安装部署
2.1. 下载
直接找最新版下载后解压
http://rocketmq.apache.org/release_notes
2.2. 修改配置
修改 conf/broker.conf
添加以下配置
brokerip1:配置broker所在服务器的ip地址,以便name server连接
修改 runserver.sh
和 runbroker.sh
(可不改)
因为rocketmq默认的启动参数内存占用非常大,如果环境没有这么多内存就必需修改java_opt
参数
-
runserver.sh
java_opt="${java_opt} -server -xms256m -xmx256m -xmn125m -xx:metaspacesize=128m -xx:maxmetaspacesize=320m"
-
runbroker.sh
java_opt="${java_opt} -server -xms256m -xmx256m -xmn125m -xx:metaspacesize=128m -xx:maxmetaspacesize=320m"
2.3. 运行name server
nohup sh bin/mqnamesrv &
查看运行日志:tail -f ~/logs/rocketmqlogs/namesrv.log
2.4. 运行broker
nohup sh bin/mqbroker -n localhost:9876 -c conf/broker.conf &
通过-c参数指定配置文件
查看运行日志:tail -f ~/logs/rocketmqlogs/broker.log
2.5. 停止服务的方式
如果需要停止rocketmq的服务,在生产环境不建议直接用kill,应该使用以下命令
sh bin/mqshutdown broker sh bin/mqshutdown namesrv
三、安装可视化管理界面
- 下载
https://github.com/apache/rocketmq-externals/tree/master/rocketmq-console - 编译
mvn clean package -dmaven.test.skip=true
- 运行
nohup java -jar \ -drocketmq.config.namesrvaddr=192.168.28.130:9876 \ -drocketmq.config.isvipchannel=false \ rocketmq-console-ng-1.0.0.jar &
- 访问
http://192.168.28.130:8080/
四、常见异常处理
4.1. mqclientexception: no route info of this topic, topictest1
4.1.1. 异常说明
在客户端的 producer
运行起来准备发送消息时抛异常为 “ no route info of this topic ” 异常产生的原因可能是:
-
broker
禁止自动创建topic
,且用户没有通过手工方式创建 topic -
broker
没有正确连接到name server
-
producer
没有正确连接到name server
4.1.2. 解决办法
-
排查1:
broker
禁止自动创建topic
,且用户没有通过手工方式创建topic
- 可以在rocketmq所在目录下执行 " sh bin/mqbroker -m " 来查看 broker 的配置参数
- 如下所示,
autocreatetopicenable=true
证明是没有问题的
-
排查2:
broker
没有正确连接到name server
通过查看broker的日志tail -f ~/logs/rocketmqlogs/broker.log
看看有没有错误信息
-
排查3:
producer
没有正确连接到name server
- 检查程序连接
name server
的地址有没有错 - 如果在云服务器上,检查安全组的配置
9876
端口有没有开发 - 看看有没有打开防火墙,有的话设置防火墙开放
9876
端口bash [root@zlt rocketmq-all-4.5.0-bin-release]# firewall-cmd --zone=public --list-ports 8090/tcp 80/tcp 8080/tcp [root@zlt rocketmq-all-4.5.0-bin-release]# firewall-cmd --zone=public --add-port=9876/tcp --permanent success [root@zlt rocketmq-all-4.5.0-bin-release]# firewall-cmd --reload success [root@zlt rocketmq-all-4.5.0-bin-release]# firewall-cmd --zone=public --list-ports 9876/tcp 8090/tcp 80/tcp 8080/tcp
- 检查程序连接
4.2. remotingtoomuchrequestexception: senddefaultimpl call timeout
4.2.1. 异常说明
- 在客户端的
producer
运行起来准备发送消息时抛异常如下 - 通常因为
name server
连接不上broker
4.2.2. 解决办法
检查 rocketmq-console
的集群页签,broker
的地址是否正确broker
地址的配置方式请参考 安装部署
中提到的步骤:
- 修改
broker.conf
的配置,添加brokerip1
参数 - 启动
broker
时加上-c
参数指定配置文件
4.3. 消费/查看不了死信队列topic的消息
4.3.1. 异常说明
死信队列默认的 perm
值为2没有查看权限
4.3.2. 解决办法
在控制台把队列的 perm
改为6就可以了
主题点击 topic配置
修改perm
推荐阅读
- 日志排查问题困难?分布式日志链路跟踪来帮你
- zuul集成sentinel最新的网关流控组件
- 阿里注册中心nacos生产部署方案
- spring boot自定义配置项在ide里面实现自动提示
- spring cloud zuul的动态路由怎样做?集成nacos实现很简单
- spring cloud开发人员如何解决服务冲突和实例乱窜?
- spring cloud同步场景分布式事务怎样做?试试seata
扫码关注有惊喜!
上一篇: 关于柳树菇你不知道的事情
下一篇: gin酒到底有哪些种类?想了解看这里