Haproxy实现Mosquitto集群的负载均衡
程序员文章站
2022-04-12 09:40:21
...
参考博客
http://blog.csdn.net/yanggd1987/article/details/52061083
http://blog.csdn.net/zzhongcy/article/details/46443765
http://blog.csdn.net/tantexian/article/details/50056199
http://blog.csdn.net/audioo1/article/details/53189032
http://www.cnblogs.com/ilanni/p/4750081.html
https://www.cnblogs.com/wjoyxt/p/3766284.html
背景
利用haproxy对Mosquitto集群进行负载均衡，Mosquitto是基于MQTT协议的消息中间服务器，MQTT协议是常用于物联网Iot的网络资源消耗相对较低的一种基于TCP层协议。
场景
多台终端设备可以发送以及接受数据，请求连接Moquitto服务器，但由于一台Mosquitto服务器并发长连接负载的能力有限，希望通过中间服务器 负载均衡器(HAProxy服务器)平均负载到三台Moquitto服务器集群。
准备工作
利用VMware14虚拟机搭建四台服务器Centos7.0系统并搭建集群，具体搭建可以参考http://ymq267.iteye.com/blog/2409119
http://ymq267.iteye.com/admin/blogs/2409128
10.10.10.15 haproxy tcp代理
10.10.10.16 mosquitto master
10.10.10.17 mosquitto slave
10.10.10.18 mosquitto slave
安装haproxy
在10.10.10.15服务器中执行
安装gcc
需要有gcc，如果没有可能会报错。
如果不是Centos则需要下载解压或其他命令下载。
配置
haproxy.cfg是很重要且唯一需要修改的配置文件，如果没有可以手动创建。
yum命令在线下载的话，可以能不知道装在哪里,可以搜索haproxy。
我的haproxy.cfg文件是在/etc/haproxy/目录下，可以先备份一份在进行修改，以免出错。
具体haproxy.cfg配置文件内容
以上只是配置只是为了可以使用，需要根据需求增删配置内容。
启动HAProxy
页面查看状态
可以访问浏览器查看运行状态
具体与 #页面查看监听端口状态 下配置有关
10.10.10.15/stats
账号:admin
密码:admin
参考配置详情
总结
测试用MQTT.fx客户端工具连接HAProxy，具体和直接连接单机的mosquitto服务器时一样的，因为三台mosquitto服务器配置都是一样的，请求连接的账号密码也一样，所以连接HAProxy服务器直接就会转发到三台mosquitto中的一个。
需要注意的是防火墙和端口号，如果没配置好会连不上。
http://blog.csdn.net/yanggd1987/article/details/52061083
http://blog.csdn.net/zzhongcy/article/details/46443765
http://blog.csdn.net/tantexian/article/details/50056199
http://blog.csdn.net/audioo1/article/details/53189032
http://www.cnblogs.com/ilanni/p/4750081.html
https://www.cnblogs.com/wjoyxt/p/3766284.html
背景
利用haproxy对Mosquitto集群进行负载均衡，Mosquitto是基于MQTT协议的消息中间服务器，MQTT协议是常用于物联网Iot的网络资源消耗相对较低的一种基于TCP层协议。
场景
多台终端设备可以发送以及接受数据，请求连接Moquitto服务器，但由于一台Mosquitto服务器并发长连接负载的能力有限，希望通过中间服务器 负载均衡器(HAProxy服务器)平均负载到三台Moquitto服务器集群。
准备工作
利用VMware14虚拟机搭建四台服务器Centos7.0系统并搭建集群，具体搭建可以参考http://ymq267.iteye.com/blog/2409119
http://ymq267.iteye.com/admin/blogs/2409128
10.10.10.15 haproxy tcp代理
10.10.10.16 mosquitto master
10.10.10.17 mosquitto slave
10.10.10.18 mosquitto slave
安装haproxy
在10.10.10.15服务器中执行
#yum install haproxy
安装gcc
需要有gcc，如果没有可能会报错。
#yum install -y gcc
如果不是Centos则需要下载解压或其他命令下载。
配置
haproxy.cfg是很重要且唯一需要修改的配置文件，如果没有可以手动创建。
yum命令在线下载的话，可以能不知道装在哪里,可以搜索haproxy。
#find / -name haproxy
我的haproxy.cfg文件是在/etc/haproxy/目录下，可以先备份一份在进行修改，以免出错。
具体haproxy.cfg配置文件内容
#---------------------------------------------------------------------
# Example configuration for a possible web application. See the
# full configuration options online.
#
# http://haproxy.1wt.eu/download/1.4/doc/configuration.txt
#
#---------------------------------------------------------------------
#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
# to have these messages end up in /var/log/haproxy.log you will
# need to:
#
# 1) configure syslog to accept network log events. This is done
# by adding the '-r' option to the SYSLOGD_OPTIONS in
# /etc/sysconfig/syslog
#
# 2) configure local2 events to go to the /var/log/haproxy.log
# file. A line like the following can be added to
# /etc/sysconfig/syslog
#
# local2.* /var/log/haproxy.log
#
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
# turn on stats unix socket
stats socket /var/lib/haproxy/stats
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
mode http
log global
option httplog
option tcplog
option dontlognull
option http-server-close
# option forwardfor except 127.0.0.0/8
option redispatch
retries 3
timeout http-request 10s
timeout queue 1m
timeout connect 10s
timeout client 1m
timeout server 1m
timeout http-keep-alive 10s
timeout check 10s
maxconn 3000
#---------------------------------------------------------------------
# main frontend which proxys to the backends
#---------------------------------------------------------------------
frontend main *:5000
acl url_static path_beg -i /static /images /javascript /stylesheets
acl url_static path_end -i .jpg .gif .png .css .js
use_backend static if url_static
default_backend app
#---------------------------------------------------------------------
# static backend for serving up images, stylesheets and such
#---------------------------------------------------------------------
backend static
balance roundrobin
server static 127.0.0.1:4331 check
#---------------------------------------------------------------------
# round robin balancing between the various backends
#---------------------------------------------------------------------
backend app
balance roundrobin
server app1 127.0.0.1:5001 check
server app2 127.0.0.1:5002 check
server app3 127.0.0.1:5003 check
server app4 127.0.0.1:5004 check
listen test1
bind 0.0.0.0:1888
mode tcp
balance roundrobin
server s1 10.10.10.16:1889 weight 1 maxconn 10000 check inter 10s
server s2 10.10.10.17:1889 weight 1 maxconn 10000 check inter 10s
server s3 10.10.10.18:1889 weight 1 maxconn 10000 check inter 10s
#页面查看监听端口状态
listen admin_stats
# 监听端口
bind 0.0.0.0:1889
# 启用状态监控
stats enable
mode http
log global
# 统计页面URL
stats uri /stats
# 统计页面密码框上提示文本
stats realm Haproxy\ Statistics
# 统计页面用户名和密码设置
stats auth admin:admin
# 隐藏统计页面上HAProxy的版本信息
#stats hide-version
#当通过认证才可管理
stats admin if TRUE
#统计页面自动刷新时间
stats refresh 30s
以上只是配置只是为了可以使用，需要根据需求增删配置内容。
启动HAProxy
#/usr/sbin/haproxy -f /etc/haproxy.cfg
页面查看状态
可以访问浏览器查看运行状态
具体与 #页面查看监听端口状态 下配置有关
10.10.10.15/stats
账号:admin
密码:admin
参考配置详情
####################全局配置信息########################
#######参数是进程级的,通常和操作系统（OS）相关#########
global
maxconn 20480 #默认最大连接数
log 127.0.0.1 local3 #[err warning info debug]
chroot /var/haproxy #chroot运行的路径
uid 99 #所属运行的用户uid
gid 99 #所属运行的用户组
daemon #以后台形式运行haproxy
nbproc 1 #进程数量(可以设置多个进程提高性能)
pidfile /var/run/haproxy.pid #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件
ulimit-n 65535 #ulimit的数量限制
#####################默认的全局设置######################
##这些参数可以被利用配置到frontend,backend,listen组件##
defaults
log global
mode http #所处理的类别 (#7层 http;4层tcp )
maxconn 20480 #最大连接数
option httplog #日志类别http日志格式
option httpclose #每次请求完毕后主动关闭http通道
option dontlognull #不记录健康检查的日志信息
option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数,可以从Http Header中获得客户端ip
option redispatch #serverId对应的服务器挂掉后,强制定向到其他健康的服务器
option abortonclose #当服务器负载很高的时候,自动结束掉当前队列处理比较久的连接
stats refresh 30 #统计页面刷新间隔
retries 3 #3次连接失败就认为服务不可用,也可以通过后面设置
balance roundrobin #默认的负载均衡的方式,轮询方式
#balance source #默认的负载均衡的方式,类似nginx的ip_hash
#balance leastconn #默认的负载均衡的方式,最小连接
contimeout 5000 #连接超时
clitimeout 50000 #客户端超时
srvtimeout 50000 #服务器超时
timeout check 2000 #心跳检测超时
####################监控页面的设置#######################
listen admin_status #Frontend和Backend的组合体,监控组的名称,按需自定义名称
bind 0.0.0.0:65532 #监听端口
mode http #http的7层模式
log 127.0.0.1 local3 err #错误日志记录
stats refresh 5s #每隔5秒自动刷新监控页面
stats uri /admin?stats #监控页面的url
stats realm itnihao\ itnihao #监控页面的提示信息
stats auth admin:admin #监控页面的用户和密码admin,可以设置多个用户名
stats auth admin1:admin1 #监控页面的用户和密码admin1
stats hide-version #隐藏统计页面上的HAproxy版本信息
stats admin if TRUE #手工启用/禁用,后端服务器(haproxy-1.4.9以后版本)
errorfile 403 /etc/haproxy/errorfiles/403.http
errorfile 500 /etc/haproxy/errorfiles/500.http
errorfile 502 /etc/haproxy/errorfiles/502.http
errorfile 503 /etc/haproxy/errorfiles/503.http
errorfile 504 /etc/haproxy/errorfiles/504.http
#################HAProxy的日志记录内容设置###################
capture request header Host len 40
capture request header Content-Length len 10
capture request header Referer len 200
capture response header Server len 40
capture response header Content-Length len 10
capture response header Cache-Control len 8
#######################网站监测listen配置#####################
###########此用法主要是监控haproxy后端服务器的监控状态############
listen site_status
bind 0.0.0.0:1081 #监听端口
mode http #http的7层模式
log 127.0.0.1 local3 err #[err warning info debug]
monitor-uri /site_status #网站健康检测URL,用来检测HAProxy管理的网站是否可以用,正常返回200,不正常返回503
acl site_dead nbsrv(server_web) lt 2 #定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于1台时返回true
acl site_dead nbsrv(server_blog) lt 2
acl site_dead nbsrv(server_bbs) lt 2
monitor fail if site_dead #当满足策略的时候返回503,网上文档说的是500,实际测试为503
monitor-net 192.168.16.2/32 #来自192.168.16.2的日志信息不会被记录和转发
monitor-net 192.168.16.3/32
########frontend配置############
#####注意,frontend配置里面可以定义多个acl进行匹配操作########
frontend http_80_in
bind 0.0.0.0:80 #监听端口,即haproxy提供web服务的端口,和lvs的vip端口类似
mode http #http的7层模式
log global #应用全局的日志配置
option httplog #启用http的log
option httpclose #每次请求完毕后主动关闭http通道,HA-Proxy不支持keep-alive模式
option forwardfor #如果后端服务器需要获得客户端的真实IP需要配置次参数,将可以从Http Header中获得客户端IP
########acl策略配置#############
acl itnihao_web hdr_reg(host) -i ^(www.itnihao.cn|ww1.itnihao.cn)$
#如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写
acl itnihao_blog hdr_dom(host) -i blog.itnihao.cn
#如果请求的域名满足www.itnihao.cn返回true -i是忽略大小写
#acl itnihao hdr(host) -i itnihao.cn
#如果请求的域名满足itnihao.cn返回true -i是忽略大小写
#acl file_req url_sub -i killall=
#在请求url中包含killall=,则此控制策略返回true,否则为false
#acl dir_req url_dir -i allow
#在请求url中存在allow作为部分地址路径,则此控制策略返回true,否则返回false
#acl missing_cl hdr_cnt(Content-length) eq 0
#当请求的header中Content-length等于0时返回true
########acl策略匹配相应#############
#block if missing_cl
#当请求中header中Content-length等于0阻止请求返回403
#block if !file_req || dir_req
#block表示阻止请求,返回403错误,当前表示如果不满足策略file_req,或者满足策略dir_req,则阻止请求
use_backend server_web if itnihao_web
#当满足itnihao_web的策略时使用server_web的backend
use_backend server_blog if itnihao_blog
#当满足itnihao_blog的策略时使用server_blog的backend
#redirect prefix http://blog.itniaho.cn code 301 if itnihao
#当访问itnihao.cn的时候,用http的301挑转到http://192.168.16.3
default_backend server_bbs
#以上都不满足的时候使用默认server_bbs的backend
##########backend的设置##############
#下面我将设置三组服务器 server_web,server_blog,server_bbs
###########################backend server_web#############################
backend server_web
mode http #http的7层模式
balance roundrobin #负载均衡的方式,roundrobin平均方式
cookie SERVERID #允许插入serverid到cookie中,serverid后面可以定义
option httpchk GET /index.html #心跳检测的文件
server web1 192.168.16.2:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1
#服务器定义,cookie 1表示serverid为web1,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,
#fall 3是3次失败认为服务器不可用,weight代表权重
server web2 192.168.16.3:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2
#服务器定义,cookie 1表示serverid为web2,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,
#fall 3是3次失败认为服务器不可用,weight代表权重
###################################backend server_blog###############################################
backend server_blog
mode http #http的7层模式
balance roundrobin #负载均衡的方式,roundrobin平均方式
cookie SERVERID #允许插入serverid到cookie中,serverid后面可以定义
option httpchk GET /index.html #心跳检测的文件
#服务器定义:
#cookie 1表示serverid为web1,
#check inter 1500是检测心跳频率
#rise 3是3次正确认为服务器可用,
#fall 3是3次失败认为服务器不可用,
#weight代表权重
server blog1 192.168.16.2:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1
server blog2 192.168.16.3:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2
###################################backend server_bbs###############################################
backend server_bbs
mode http #http的7层模式
balance roundrobin #负载均衡的方式,roundrobin平均方式
cookie SERVERID #允许插入serverid到cookie中,serverid后面可以定义
option httpchk GET /index.html #心跳检测的文件
#服务器定义,
#cookie 1表示serverid为web1,
#check inter 1500是检测心跳频率
#rise 3是3次正确认为服务器可用,
#fall 3是3次失败认为服务器不可用,
#weight代表权重
server bbs1 192.168.16.2:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1
server bbs2 192.168.16.3:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2
总结
测试用MQTT.fx客户端工具连接HAProxy，具体和直接连接单机的mosquitto服务器时一样的，因为三台mosquitto服务器配置都是一样的，请求连接的账号密码也一样，所以连接HAProxy服务器直接就会转发到三台mosquitto中的一个。
需要注意的是防火墙和端口号，如果没配置好会连不上。