LVS详解（DR模式和NAT模式的配置）

程序员文章站 2024-03-21 12:14:04

...

LVS介绍
LVS的部署
- NAT模式的实现
- DR模式的实现

LVS介绍

LVS简介

LVS是Linux Virtual Server的简称，也就是Linux虚拟服务器, 是一个由章文嵩博士发起的*软件项目，它的官方站点是www.linuxvirtualserver.org。现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁，可以直接使用LVS提供的各种功能。

LVS自从1998年开始，发展到现在已经是一个比较成熟的技术项目了。可以利用LVS技术实现高可伸缩的、高可用的网络服务，例如WWW服务、Cache服务、DNS服务、FTP服务、MAIL服务、视频/音频点播服务等等，有许多比较著名网站和组织都在使用LVS架设的集群系统，例如：Linux的门户网站（www.linux.com）、向RealPlayer提供音频视频服务而闻名的Real公司（www.real.com）、全球最大的开源网站（sourceforge.net）等。

LVS特点：

通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。LVS的主要特点有以下几个方面：

高并发连接：LVS基于内核网络层面工作，有超强的承载能力和并发处理能力。单台LVS负载均衡器，可支持上万并发连接。稳定性强：是工作在网络4层之上仅作分发之用，这个特点也决定了它在负载均衡软件里的性能最强，稳定性最好，对内存和cpu资源消耗极低。
成本低廉：硬件负载均衡器少则十几万，多则几十万上百万，LVS只需一台服务器和就能免费部署使用，性价比极高。
配置简单：LVS配置非常简单，仅需几行命令即可完成配置，也可写成脚本进行管理。
支持多种算法：支持多种论调算法，可根据业务场景灵活调配进行使用
支持多种工作模型：可根据业务场景，使用不同的工作模式来解决生产环境请求处理问题。
应用范围广：因为LVS工作在4层，所以它几乎可以对所有应用做负载均衡，包括http、数据库、DNS、ftp服务等等
缺点：工作在4层，不支持7层规则修改，机制过于庞大，不适合小规模应用。

LVS内核工作模型

LVS详解（DR模式和NAT模式的配置）

如果对于iptables5条链不了解的同学，麻烦先去看下这个知识点。这5条链是当数据包流向这台服务器的时候，数据包在服务器内核中的流向。

1.当客户端的请求到达负载均衡器的内核空间时，首先会到达PREROUTING链。

2.当内核发现请求数据包的目的地址是本机时，将数据包送往INPUT链。

3.LVS由用户空间的ipvsadm和内核空间的IPVS组成，ipvsadm用来定义规则，IPVS利用ipvsadm定义的规则工作，IPVS工作在INPUT链上,当数据包到达INPUT链时，首先会被IPVS检查，如果数据包里面的目的地址及端口没有在规则里面，那么这条数据包将被放行至用户空间。

4.如果数据包里面的目的地址及端口在规则里面，那么这条数据报文将被修改目的地址为事先定义好的后端服务器，并送往POSTROUTING链。

5.最后经由POSTROUTING链发往后端服务器。

LVS常见术语

LVS的管理工具和内核模块ipvsadm/ipvs

ipvsadm：用户空间的命令行工具，用于管理集群服务及集群服务上的RS等；
ipvs：工作于内核上的netfilter INPUT钩子之上的程序，可根据用户定义的集群实现请求转发；

VS：Virtual Server #虚拟服务

Director, Balancer #负载均衡器、分发器

RS：Real Server #后端请求处理服务器

CIP:Client IP #用户端IP

Director Virtual IP:VIP #负载均衡器虚拟IP

Director IP:DIP #负载均衡器IP

Real Server IP:RIP #后端请求处理服务器IP

LVS模式介绍

LVS有很多种模式来供我们选择，生产场景中一般使用的都是NAT模式和DR模式，当然，也并不是说其他模式并不会使用，还是要根据实际的生产场景来决定选择什么样的方案。

NAT模式

Virtual Server via NAT(VS-NAT):用地址翻译实现虚拟服务器｡地址转换器有能被外界访问到的合法IP地址,它修改来自专有网络的流出包的地址｡外界看起来包是来自地址转换器本身,当外界包送到转换器时,它能判断出应该将包送到内部网的哪个节点｡优点是节省IP 地址,能对内部进行伪装;缺点是效率低,因为返回给请求方的流量经过转换器｡
LVS详解（DR模式和NAT模式的配置）

(1)当用户请求到达DirectorServer，此时请求的数据报文会先到内核空间的PREROUTING链。此时报文的源IP为CIP，目标IP为VIP 。

(2) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链。

(3) IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。此时报文的源IP为CIP，目标IP为RIP ，在这个过程完成了目标IP的转换。

(4) POSTROUTING链通过选路，将数据包发送给Real Server。

(5) Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。此时报文的源IP为RIP，目标IP为CIP 。

(6) Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。此时报文的源IP为VIP，目标IP为CIP。

NAT模式中的一大缺点就是无论是请求的数据包，还是返回的数据包，都必须要经过负载的这个点，请求的数据包一般内容较少，系统所能接受的负载量还是相当多的，而返回的数据包，一般都是图片，视频等等，这会给中间的调度器带来巨大的负担。如下如所示。font>
LVS详解（DR模式和NAT模式的配置）

DR模式

Virtual Server via Direct Routing(VS-DR):用直接路由技术实现虚拟服务器｡当参与集群的计算机和作为控制管理的计算机在同一个网段时可以用此方法,控制管理的计算机接收到请求包时直接送到参与集群的节点｡直接路由模式比较特别，很难说和什么方面相似，前种模式基本上都是工作在网络层上（三层），而直接路由模式则应该是工作在数据链路层上（二层）。

工作原理：DR和REAL SERVER都使用同一个IP对外服务。但只有DR对ARP请求进行响应，所有REAL SERVER对本身这个IP的ARP请求保持静默。也就是说，网关会把对这个服务IP的请求全部定向给DR，而DR收到数据包后根据调度算法，找出对应的 REAL SERVER，把目的MAC地址改为REAL SERVER的MAC并发给这台REAL SERVER。这时REAL SERVER收到这个数据包，则等于直接从客户端收到这个数据包无异，处理后直接返回给客户端。由于DR要对二层包头进行改换，所以DR和REAL SERVER之间必须在一个广播域，也可以简单的理解为在同一台交换机上。

相对于NAT模式来言，DR模式能够较好的解决上述问题，其数据在服务器集群中的流向如下图所示，请求报文经过LVS到达后端真实的WEB服务器，而响应报文，则直接发给客户端，并不需要通过调度器。

LVS详解（DR模式和NAT模式的配置）
数据包流转过程

(1)当用户请求到达DirectorServer，此时请求的数据报文会先到内核空间的PREROUTING链。此时报文的源IP为CIP，目标IP为VIP

(2) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链

(3) IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址

(4) 由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。

(5)client的请求被Director转发并经过链路层寻址到达Realserver后，由于Realserver的lo接口配置了VIP(请求中的目标IP正是VIP)，所以接收请求并处理。处理完成之后，将响应报文通过lo接口传送给eth0网卡（这个网卡一般指和调度器在一个网段的网卡）然后向外发出。此时的源IP地址为VIP，目标IP为CIP

(6) 响应报文最终送达至客户端

DR模式的特性
1、保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS

2、RS可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过互联网对RIP进行直接访问

3、RS跟Director Server必须在同一个物理网络中

4、所有的请求报文经由Director Server，但响应报文必须不能进过Director Server

5、不支持地址转换，也不支持端口映射

6、RS可以是大多数常见的操作系统

7、RS的网关绝不允许指向DIP

8、RS上的lo接口配置VIP的IP地址

其他模式

除了上述两种工作模式以外，LVS还有两种工作模式，TUN工作模式和full-nat工作模式，其实现的原理和流程如下：
TUN工作模式：
LVS详解（DR模式和NAT模式的配置）
1.客户端将请求发往前端的负载均衡器，请求报文源地址是CIP，目标地址为VIP。

2.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将在客户端请求报文的首部再封装一层IP报文,将源地址改为DIP，目标地址改为RIP,并将此包发送给RS。

3.RS收到请求报文后，会首先拆开第一层封装,然后发现里面还有一层IP首部的目标地址是自己lo接口上的VIP，所以会处理次请求报文，并将响应报文通过lo接口送给eth0网卡（这个网卡一般指和调度器在一个网段的网卡）直接发送给客户端。注意：需要设置lo接口的VIP不能在共网上出现。

full-nat模式
LVS详解（DR模式和NAT模式的配置）

特点：
（1）RIP，DIP可以使用私有地址；
（2）RIP和DIP可以不再同一个网络中，且RIP的网关未必需要指向DIP；
（3）支持端口映射；
（4）RS的OS可以使用任意类型；
（5）请求报文经由Director，响应报文也经由Director

LVS调度算法介绍

LVS有两种类型的调度算法，其一就是静态的调度算法，这种算法一经实现，后续就不会发生变化，是既定的规则，后续数据包的流转都会按照这种规则进行按部就班的流转；其二就是动态的调度算法，这种算法是基于网络状况，或者后端服务器的状况，连接的状况等来进行实时的调整，算法的规则会根据实际情况而发生一定的变化。

常用的静态调度算法有以下几种：

1.RR：轮叫调度（Round Robin）
调度器通过”轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载｡

2.WRR：加权轮叫（Weight RR）
调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

3.DH：目标地址散列调度（Destination Hash ）
根据请求的目标IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

4.SH：源地址 hash（Source Hash）
源地址散列”调度算法根据请求的源IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空｡

常用的动态调度算法有下面这些

1.LC：最少链接（Least Connections）
调度器通过”最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用”最小连接”调度算法可以较好地均衡负载。

2.WLC：加权最少连接(默认采用的就是这种)（Weighted Least Connections）
在集群系统中的服务器性能差异较大的情况下，调度器采用“加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载｡调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

3.SED：最短延迟调度（Shortest Expected Delay ）
在WLC基础上改进，Overhead = （ACTIVE+1）*256/加权，不再考虑非活动状态，把当前处于活动状态的数目+1来实现，数目最小的，接受下次请求，+1的目的是为了考虑加权的时候，非活动连接过多缺陷：当权限过大的时候，会倒置空闲服务器一直处于无连接状态。

4.NQ永不排队/最少队列调度（Never Queue Scheduling NQ）
无需队列。如果有台 realserver的连接数＝0就直接分配过去，不需要再进行sed运算，保证不会有一个主机很空间。在SED基础上无论+几，第二次一定给下一个，保证不会有一个主机不会很空闲着，不考虑非活动连接，才用NQ，SED要考虑活动状态连接，对于DNS的UDP不需要考虑非活动连接，而httpd的处于保持状态的服务就需要考虑非活动连接给服务器的压力。

LVS的部署

上述四种工作模式，DR模式和NAT模式是常用的两种模式，本文就只阐述这两种工作模式。

NAT模式的实现

在实现之前，要先对网段进行一定的规划，每一台服务器都去规划好它的位置，和其所承担的职责。

机器名称	IP配置	服务角色
lvs	VIP:192.168.31.100 DIP:172.25.0.1	负载均衡器
web1	RIP:172.25.0.31	后端服务器
web2	RIP:172.25.0.32	后端服务器
web3	RIP:172.25.0.33	后端服务器

其数据流转的模型如下图所示：
LVS详解（DR模式和NAT模式的配置）

实现步骤：
安装相关配置工具
[aaa@qq.com ~]# yum install ipvsadm -y

lvs-server配置：
1、ipvsadm -A -t 192.168.31.100:80 -s wrr
#开启一个基于80端口的虚拟服务，调度方式为wrr

2、ipvsadm -a -t 192.168.31.100:80  -r 172.25.0.31 -m -w 1
#配置web1服务后端real server  为nat工作方式  权重为1 

ipvsadm -a -t 192.168.31.100:80  -r 172.25.0.32 -m -w 1
#配置web2服务后端real server  为nat工作方式  权重为1 

ipvsadm -a -t 192.168.31.100:80  -r 172.25.0.33 -m -w 1
#配置web3服务后端real server  为nat工作方式  权重为1 

3、修改内核配置，开启路由转发
vim /etc/sysctl.conf 修改 net.ipv4.ip_forward=1 

sysctl -p 使其生效

5、real server配置
配置网关指向172.25.0.11，开启web、php-fpm、mysql服务

可分别在三个站点上面写上不同的内容，然后进行测试，看是否能够进行调度。
注：windows中的浏览器中一般都会有缓存，其调度可能会失效，使用Linux中的curl等命令访问则是没有问题的。能够正常的实现调度。

DR模式的实现

机器名称	IP配置	服务角色
lvs	VIP:172.25.0.100 DIP:172.25.0.1	负载均衡器
web1	RIP:172.25.0.31	后端服务器
web2	RIP:172.25.0.32	后端服务器
web3	RIP:172.25.0.33	后端服务器

LVS详解（DR模式和NAT模式的配置）
DR模式的配置是使用命令来实现的，故其中的一些配置在系统重启之后是不存在的，如果要想下次开机启动之后，能够自动的配置，可以将配置的步骤写成脚本，并设置开机自启动。（上面NAT模式的实现也可以设置开机自启动脚本来实现。）

调度器配置

LVS调度器脚本

                                                                                                                                                                                                                                             59,1          All
#!/bin/bash
# chkconfig:   2345 90 10
#LVS script for DR
. /etc/rc.d/init.d/functions
VIP=172.25.0.100
DIP=172.25.0.11
RIP1=172.25.0.31
RIP2=172.25.0.32
RIP3=172.25.0.33
PORT=80
# 
#description: hhahahah

case "$1" in
start)
  /sbin/ifconfig ens34:0 $VIP broadcast $VIP netmask 255.255.255.255 up
  /sbin/route add -host $VIP dev ens34:0

# Since this is the Director we must be able to forward packets 
  echo 1 > /proc/sys/net/ipv4/ip_forward
# 开启路由转发功能
# Clear all iptables rules. 
  /sbin/iptables -F

# Reset iptables counters. 
  /sbin/iptables -Z

# Clear all ipvsadm rules/services. 
  /sbin/ipvsadm -C

# Add an IP virtual service for VIP 192.168.0.219 port 80 
# In this recipe, we will use the round-robin scheduling method. 
# In production, however, you should use a weighted, dynamic scheduling method. 
  /sbin/ipvsadm -A -t $VIP:80 -s wrr

# Now direct packets for this VIP to 
# the real server IP (RIP) inside the cluster 
  /sbin/ipvsadm -a -t $VIP:80 -r $RIP1 -g -w 1
  /sbin/ipvsadm -a -t $VIP:80 -r $RIP2 -g -w 1
  /sbin/ipvsadm -a -t $VIP:80 -r $RIP3 -g -w 1
;;

stop)
# Stop forwarding packets 
  echo 0 > /proc/sys/net/ipv4/ip_forward

# Reset ipvsadm 
  /sbin/ipvsadm -C

# Bring down the VIP interface 
  /sbin/ifconfig ens34:0 down

#  echo "ipvs is stopped..." 
;;

*)
  echo "Usage: $0 {start|stop}" 
;;
esac

将上述内容保存在/etc/init.d/lvs-director文件中，然后添加到服务：



[root@lvs ~]# chmod +x /etc/init.d/lvs-director
# 添加脚本执行权限
[root@lvs ~]# chkconfig --add lvs-director
# 添加脚本到服务当中
[root@lvs ~]# chkconfig lvs-director on
# 设置为开机自启动服务
[root@lvs ~]# /etc/init.d/lvs-director start 
# 启动脚本

WEB后端服务器配置

客户端脚本

#!/bin/bash 
# 
# Script to start LVS DR real server. 
# chkconfig: - 90 10 
# description: LVS DR real server 
# 
.  /etc/rc.d/init.d/functions

VIP=172.25.0.100

host=`/bin/hostname`

case "$1" in
start)
       # Start LVS-DR real server on this machine. 
        /sbin/ifconfig lo down
        /sbin/ifconfig lo up
        echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
        #响应ip地址是在lo接口上的arp请求，其余的忽略。
        echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
        # 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.
        echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
        #配置所有网卡只响应自己接口上的ip的arp请求，其余的忽略。
        echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
        #必须避免将接口信息向非本网络进行通告

        /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
        /sbin/route add -host $VIP dev lo:0

;;
stop)

        # Stop LVS-DR real server loopback device(s). 
        /sbin/ifconfig lo:0 down
        echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
        echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
        echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
        echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce

;;

*)
            # Invalid entry. 
            echo "$0: Usage: $0 {start||stop}" 
            exit 1
;;
esac

保存至/etc/init.d/lvs-rs，并赋予执行权限，然后添加为开机启动：



    [root@web1~]# chmod +x /etc/init.d/lvs-rs

    [root@web1 ~]# chkconfig --add lvs-rs

    [root@web1 ~]# chkconfig lvs-rs on

    [root@web1 ~]# /etc/init.d/lvs-rs start

web2和web3采用完全相同的配置即可。

实验测试

在web1、web2和web3上写入不同的站点内容，然后访问172.25.0.100。访问调度器的网址，看是否每次访问的站点内容都是不同的。（windows中的浏览器有缓存功能，如果站点内容有时候是相同的，那么不一定是自己配错了，可能是缓存的原因，避免的办法就是使用Linux的curl命令去访问站点的内容）

LVS详解（DR模式和NAT模式的配置）

LVS介绍

LVS简介

LVS特点：

LVS内核工作模型

LVS常见术语

LVS模式介绍

NAT模式

DR模式

其他模式

LVS调度算法介绍

LVS的部署

NAT模式的实现

DR模式的实现

调度器配置

WEB后端服务器配置

实验测试

LVS详解（DR模式和NAT模式的配置）

lvs的高可用集群-(DR模式下的安全检测的负载均衡--keepalived)

详解简单基于spring的redis配置(单机和集群模式)

详解简单基于spring的redis配置(单机和集群模式)

LVS四层负载均衡器原理和DR模式的搭建

LVS的DR模式实现负载均衡

四层负载均衡LVS DR模式配置

keepalived的原理、LVS负载均衡之DR模式+KeepAlived双机热备架构【原理和配置】

SpringBoot集成JmsTemplate(队列模式和主题模式)及xml和JavaConfig配置详解

LVS的NAT与DR模式的简单介绍与配置