LVS的NAT与DR模式的简单介绍与配置

LVS简单介绍：

LVS是Linux Virtual Server的简称，也就是Linux虚拟服务器, 是一个由章文嵩博士发起的*软件项目，它的官方站点是www.linuxvirtualserver.org。现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁，可以直接使用LVS提供的各种功能。

LVS自从1998年开始，发展到现在已经是一个比较成熟的技术项目了。可以利用LVS技术实现高可伸缩的、高可用的网络服务，例如WWW服务、Cache服务、DNS服务、FTP服务、MAIL服务、视频/音频点播服务等等，有许多比较著名网站和组织都在使用LVS架设的集群系统，例如：Linux的门户网站（www.linux.com）、向RealPlayer提供音频视频服务而闻名的Real公司（www.real.com）、全球最大的开源网站（sourceforge.net）等。

LVS软件作用：通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。

LVS的特性:

优点：
    高并发连接：LVS基于内核网络层面工作，有超强的承载能力和并发处理能力。单台LVS负载均衡器，可支持上万并发连接。

    稳定性强：是工作在网络4层之上仅作分发之用，这个特点也决定了它在负载均衡软件里的性能最强，稳定性最好，对内存和cpu资源消耗极低。

    成本低廉：硬件负载均衡器少则十几万，多则几十万上百万，LVS只需一台服务器和就能免费部署使用，性价比极高。

    配置简单：LVS配置非常简单，仅需几行命令即可完成配置，也可写成脚本进行管理。

    支持多种算法：支持多种论调算法，可根据业务场景灵活调配进行使用

    支持多种工作模型：可根据业务场景，使用不同的工作模式来解决生产环境请求处理问题。

    应用范围广：因为LVS工作在4层，所以它几乎可以对所有应用做负载均衡，包括http、数据库、DNS、ftp服务等等

缺点：
    工作在4层，不支持7层规则修改，机制过于庞大，不适合小规模应用。

LVS核心组件和专业术语

核心组件:
    LVS的管理工具和内核模块ipvsadm/ipvs
    ipvsadm：用户空间的命令行工具，用于管理集群服务及集群服务上的RS等；
    ipvs：工作于内核上的netfilter INPUT钩子之上的程序，可根据用户定义的集群实现请求转发；

专业术语：
    VS：Virtual Server #虚拟服务
    Director, Balancer #负载均衡器、分发器
    RS：Real Server #后端请求处理服务器
    CIP: Client IP #用户端IP
    Director Virtual IP: VIP #负载均衡器虚拟IP
    Director IP: DIP #负载均衡器IP
    Real Server IP: RIP #后端请求处理服务器IP

LVS工作流程

LVS的内核工作模型

由上图可知：

1.当客户端的请求到达负载均衡器的内核空间时，首先会到达PREROUTING链。

2.当内核发现请求数据包的目的地址是本机时，将数据包送往INPUT链。

3.LVS由用户空间的ipvsadm和内核空间的IPVS组成，ipvsadm用来定义规则，IPVS利用ipvsadm定义的规则工作，IPVS工作在INPUT链上,当数据包到达INPUT链时，首先会被IPVS检查，如果数据包里面的目的地址及端口没有在规则里面，那么这条数据包将被放行至用户空间。

4.如果数据包里面的目的地址及端口在规则里面，那么这条数据报文将被修改目的地址为事先定义好的后端服务器，并送往POSTROUTING链。

5.最后经由POSTROUTING链发往后端服务器。

LVS负载均衡NAT工作模式

Virtual Server via NAT(VS-NAT):用地址翻译实现虚拟服务器｡地址转换器有能被外界访问到的合法IP地址,它修改来自专有网络的流出包的地址｡外界看起来包是来自地址转换器本身,当外界包送到转换器时,它能判断出应该将包送到内部网的哪个节点｡

优点是节省IP 地址,能对内部进行伪装;缺点是效率低,因为返回给请求方的流量经过转换器｡

LVS负载均衡NAT工作流程

(a). 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP；

(b). PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链；

(c). IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。 此时报文的源IP为CIP，目标IP为RIP；

(d). POSTROUTING链通过选路，将数据包发送给Real Server；

(e). Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。 此时报文的源IP为RIP，目标IP为CIP；

(f). Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。 此时报文的源IP为VIP，目标IP为CIP。

以下两个脚本为LVS在NAT模式下的Director端与RS端的配置脚本

LVS-NAT-Real Server端：

#!/bin/bash

#配置本地回环网卡路由
route add default gw 172.17.254.22

iptables -F
setenforce 0

systemctl start php-fpm mariadb nginx

LVS-NAT-Server端：

#!/bin/bash

if grep -i -C 100 "ipvs" /boot/config-`uname -r` > /dev/null ; then
        #grep 查看内核是否支持ipvs模块
        #支持，执行以下指令

        yum -y install ipvsadm

        #lvs-server配置：
        #开启一个基于80端口的虚拟服务，调度方式为wrr
        ipvsadm -A -t 172.17.254.22:80 -s wrr

        #配置web服务后端real server 为DR工作方式 权重为1
        ipvsadm -a -t 172.17.254.22:80 -r 172.17.254.180:80 -m -w 1

        #配置web服务后端real server 为DR工作方式 权重为1
        ipvsadm -a -t 172.17.254.22:80 -r 172.17.254.165:80 -m -w 1

        #修改内核配置，开启路由转发
        sed -i '/ip_forward/s/0/1/p' /etc/sysctl.conf
        #使其生效
        sysctl -p

        iptables -F
        setenforce 0
else
        echo "内核不支持ipvs模块"
        exit
fi

LVS负载均衡DR工作模式

Virtual Server via Direct Routing(VS-DR):用直接路由技术实现虚拟服务器｡当参与集群的计算机和作为控制管理的计算机在同一个网段时可以用此方法,控制管理的计算机接收到请求包时直接送到参与集群的节点｡直接路由模式比较特别，很难说和什么方面相似，前种模式基本上都是工作在网络层上（三层），而直接路由模式则应该是工作在数据链路层上（二层）。

工作原理 ：DR和REAL SERVER都使用同一个IP对外服务。但只有DR对ARP请求进行响应，所有REAL SERVER对本身这个IP的ARP请求保持静默。也就是说，网关会把对这个服务IP的请求全部定向给DR，而DR收到数据包后根据调度算法，找出对应的 REAL SERVER，把目的MAC地址改为REAL SERVER的MAC并发给这台REAL SERVER。这时REAL SERVER收到这个数据包，则等于直接从客户端收到这个数据包无异，处理后直接返回给客户端。由于DR要对二层包头进行改换，所以DR和REAL SERVER之间必须在一个广播域，也可以简单的理解为在同一台交换机上。

LVS负载均衡DR工作流程

(a) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP；

(b) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链；

(c) IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址；

(d) 由亍DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那举此时数据包将会发至Real Server；

(e) RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成乀后，将响应报文通过lo接口传送给eth0网卡然后吐外发出。 此时的源IP地址为VIP，目标IP为CIP；

(f) 响应报文最终送达至客户端。

LVS负载均衡D模式的特点

1、保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS；

2、RS可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过亏联网对RIP迕行直接访问；

3、RS跟Director Server必项在同一个物理网络中；

4、所有的请求报文经由Director Server，但响应报文必项丌能迕过Director Server；

5、不支持地址转换，也不支持端口映射；

6、RS可以是大多数常见的操作系统；

7、RS的网关绝不允许指吐DIP(因为我们不允许他经过director)；

8、RS上的lo接口配置VIP的IP地址。

以下两个脚本为LVS在NAT模式下的Director端与RS端的配置脚本

LVS—Real Server端

#!/bin/bash

ifconfig lo:0 172.17.254.22 broadcast 172.17.254.22 netmask 255.255.255.255 up

#配置本地回环网卡路由
route add -host 172.17.254.22 lo:0

#1 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

#2 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的
#源地址并尝试选择与能与该地址通信的本地地址.
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

#关闭arp应答
#1: 仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应.
#2：必须避免将接口信息向非本网络进行通告
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

iptables -F
setenforce 0

systemctl start php-fpm mariadb nginx

LVS—Server端：

#!/bin/bash

#配置VIP到本地网卡eth0:0上，并只广播自己
ifconfig eth0:0 172.17.254.22 broadcast 172.17.254.22 netmask 255.255.255.255 up

#配置VIP路由
route add -host 172.17.254.22 dev eth0:0

if grep -i -C 100 "ipvs" /boot/config-`uname -r` > /dev/null ; then
        #grep 查看内核是否支持ipvs模块
        #支持，则执行以下指令

        yum -y install ipvsadm

        #lvs-server配置：
        #开启一个基于80端口的虚拟服务，调度方式为wrr
        ipvsadm -A -t 172.17.254.22:80 -s wrr

        #配置web服务后端real server 为DR工作方式 权重为1
        ipvsadm -a -t 172.17.254.22:80 -r 172.17.254.180:80 -g -w 1

        #配置web服务后端real server 为DR工作方式 权重为1
        ipvsadm -a -t 172.17.254.22:80 -r 172.17.254.165:80 -g -w 1

        #修改内核配置，开启路由转发
        sed -i '/ip_forward/s/0/1/p' /etc/sysctl.conf
        #使其生效
        sysctl -p

        iptables -F
        setenforce 0
else
        echo "内核不支持ipvs模块"
        exit
fi