理论+实操：LVS负载均衡群集，NAT工作模式实操演示

前言：
LVS作用：

• 访问请求的唯一入口
• 检查下面服务器的健康状况
• 针对请求的类型调度分配给对应的服务器
  负载均衡器也被称为调度器
  阿里云里面的SLB就是典型的负载均衡设备、调度器
  阿里云的ECS是虚拟机，虚拟服务器，也就是云服务器
  SLB会调下面多个ECS，
  多个ECS会组成资源池
  用户通过网络去访问获取计算机资源池内的资源，弹性伸缩，按量计费
  SLB也可以检查ECS的健康状态，如果不健康，就会把出问题的主机给踢出去
  监控计算机：cati nagios zabbix 普罗米修斯
  普罗米修斯可以完美搭配容器
• 了解负载均衡群集的原理
• 掌握LVS-NAT的部署

一：企业群集应用概述

1.1 群集的含义

• Cluster，集群、群集
• 由多台主机构成，但对外只表现为一个整体

1.2 在互联网应用中的要求

随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器力不从心

1.3解决方法

• 使用价格昂贵的小型机、大型机
• 使用普通服务器构建服务群集

硬件 响应速度 服务性能 数据可靠性

群集中服务器虽然宕机了，但是不一定可以立马上线

二：企业群集分类

2.1根据群集所针对的目标差异，功能上可分为三种类型

• 负载均衡群集
  • 进行健康状态检查，管理调度
• 高可用群集
  • 两个负载均衡服务器，实现高可用，即使有一个负载均衡服务器挂了，也依旧可用，也有可靠性，；两台服务器地理位置不一定在一起，也可以一台在北京，一个在南京
• 高性能运算群集
  • 一个大的服务请求过来，单个处理30分钟的，被分派到下面各个节点，减少时间

2.2 负载均衡群集(Load Balance Cluster)

• 以提高应用系统的响应能力、尽可能处理更过的访问请求、减少延迟为目标，获得高并发、高负载（LB）的整体性能
• LB的负载分配依赖于主节点的分流算法
  • 分流算法就是调度算法

2.3 高可用群集（High Availability Cluster）

• 以提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性达到高可用（HA）的容错效果

  • HA 就是高可用的意思，群集可以支持高可用

• HA的工作方式包括双工和主从两种模式

  • 双工就是两台服务器都处于工作状态，去中心化的群集机制，属于平级，接收到的信息都可以处理；去中心化机制实例：比如说redis
  • 主从是中心化群集，有一个是master，其他的都是从服务器，用来做备份

2.4 高性能运算群集（High Performance Computer Cluster）

• 以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC）能力
• 高性能运算群集的高性能依赖于“分布式运算”、“并行计算”，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力
  • 把普通服务器整合起来，获得相当于超级计算机的高级别算力
  • 算力：CPU,GPU，主板芯片，带宽，可以优化计算机运行速度的，都在算力的考虑内

三：负载均衡群集工作模式分析

• 负载均衡群集是目前企业用得最多的群集类型
• 群集的负载调度技术有三种工作模式
  • 地址转换——NAT模式
  • IP隧道
  • 直接路由——DR 模式

3.1 NAT模式——地址转换（Network Address Translation）

• 简称NAT模式，类似防火墙的私有网络结构，负载调度器作为所有服务器节点的网管，即作为客户机的访问入口，也是各节点回应客户机的访问出口
• 服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式

3.2 TUN模式——IP隧道（IP Tunnel）

• 简称TUN模式，采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器
• 服务器节点分散在互联网中的不同位置，具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信

专用IP隧道进行加密————vpn，隧道加密，数据加密，

调度器是唯一的入口

3.3 DR模式————直接路由（Direct Routing）

• 简称DR模式，采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络
• 负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道

工作模式	特点
NAT模式——地址转换（Network Address Translation）	类似防火墙的私有网络结构，负载调度器作为所有服务器节点的网管，即作为客户机的访问入口，负载调度器也是各节点回应客户机的访问出口，服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式
TUN模式——IP隧道（IP Tunnel）	采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器，服务器节点分散在互联网中的不同位置，所有节点都具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信
DR模式————直接路由（Direct Routing）	采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络，负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道

LVS只能基于四层的tcp/udp协议进行过滤

nginx是7层

SLB是基于四层和7层的协议进行过滤

四：负载均衡群集架构

4.1 负载均衡群集架构

• 第一层，负载调度器（Load Balancer 或Director）
• 第二层，服务器池（Server Pool）
• 第三层，共享存储（Share Storage）

五：关于LVS虚拟服务器

5.1 Linux Virtual Server

• 针对Linux内核的负载均衡解决方案
• 1998年5月，由我国的章文嵩博士创建
• 官方网站：http：//www.linuxvirtualserver.org/

5.2 LVS的负载调度算法

5.2.1 轮询（Round Robin）

• 将收到的访问请求按照顺序轮流分配给群集中的各节点（真实服务器），均等地对待每一台服务器，而不管服务器实际的连接数和系统负载

5.2.2 加权轮询（Weighted Round Robin）

• 根据真实服务器的处理能力轮流分配收到的访问请求，调度器可以自动查询各节点的负载情况，并动态调整其权重
• 保证处理能力强的服务器承担更多的访问流量

加权轮询：又叫权重，分配访问的个数

5.2.3 最少连接（Least Connections）

• 根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点

5.2.4 加权最少连接（Weighted Least Connections）

• 在服务器节点的性能差异较大的情况下，可以为真实服务器自动调整权重
• 权重较高的节点将承担更大比例的活动连接负载

权重数据可以人工手动调整

备注：

TUN的难点：搭建隧道，做VPN，进行加密

oss对象存储 cdn 边缘存储 vpc确保网络的安全，把网络划分为一个一个区域

飞天平台的网络协议是BGP协议，备份一式三份

六：ipvsadm工具

6.1 LVS群集创建与管理

七：实操——NAT工作模式

7.1 拓扑环境

服务器centos7.4（64位）NFS 192.168.100.120/24

服务器centos7.4（64位）apache1 192.168.100.110/24

服务器centos7.4（64位）apache2 192.168.100.111/24

服务器centos7.4（64位）LVS 192.168.100.1/24 12.0.0.1/24

客户端windows7 12.0.0.12/24

7.2 操作步骤

LVS调度器作为Web服务器池的网关，LVS两块网卡，分别连接内外网，使用轮询（rr）调度算法

7.2.1 配置NFS

①添加两块新磁盘

②然后重启一下，让磁盘被系统识别

[[e-mail] ~]# init 6

查看/dev下的新加磁盘是否被识别

[[e-mail] ~]# hostnamectl set-hostname nfs
[[e-mail] ~]# su
[[e-mail] ~]# ls /dev
sda     sda1    sda2     sda3     sda4     sda5     sdb        sdc    

③初始化两块新增的磁盘——在线网环境中，新加的磁盘是需要做raid的

[[e-mail] ~]# fdisk /dev/sdb
Command (m for help): n
Partition type:
   p   primary (0 primary, 0 extended, 4 free)
   e   extended
Select (default p): 
Using default response p
Partition number (1-4, default 1): 
First sector (2048-41943039, default 2048): 
Using default value 2048
Last sector, +sectors or +size{K,M,G} (2048-41943039, default 41943039): 
Using default value 41943039
Partition 1 of type Linux and of size 20 GiB is set
Command (m for help): w
The partition table has been altered!
[[e-mail] ~]# mkfs.xfs /dev/sdb1
[[e-mail] ~]# mkdir /opt/kgc /opt/accp
[[e-mail] ~]# fdisk /dev/sdc
Command (m for help): n
Partition type:
   p   primary (0 primary, 0 extended, 4 free)
   e   extended
Select (default p): 
Using default response p
Partition number (1-4, default 1): 
First sector (2048-41943039, default 2048): 
Using default value 2048
Last sector, +sectors or +size{K,M,G} (2048-41943039, default 41943039): 
Using default value 41943039
Partition 1 of type Linux and of size 20 GiB is set
Command (m for help): w
[[e-mail] ~]# mkfs.xfs /dev/sdc1

④ 修改配置文件进行挂载

[[e-mail] ~]# vim /etc/fstab 
/dev/sdb1       /opt/kgc        xfs     defaults        0       0
/dev/sdc1       /opt/accp       xfs     defaults        0       0

重载挂载点

[[e-mail] ~]# mount -a
[[e-mail] ~]# df -Th
Filesystem     Type      Size  Used Avail Use% Mounted on
/dev/sdb1      xfs        20G   33M   20G   1% /opt/kgc
/dev/sdc1      xfs        20G   33M   20G   1% /opt/accp

⑤ 关闭防火墙，查看NFS服务器的两个组件nfs-utils和rpcbind是否安装，修改配置文件

[[e-mail] ~]# systemctl stop firewalld
[[e-mail] ~]# setenforce 0
[[e-mail] ~]# rpm -q nfs-utils 
nfs-utils-1.3.0-0.48.el7.x86_64
[[e-mail] ~]# rpm -q rpcbind
rpcbind-0.2.0-42.el7.x86_64
[[e-mail] ~]# vim /etc/exports
/opt/kgc        192.168.100.0/24(rw,sync,no_root_squash)
/opt/accp       192.168.100.0/24(rw,sync,no_root_squash)

⑥设置网卡IP地址为静态IP，网卡设为仅主机模式，开启rpc和nfs服务

[[e-mail] ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 
BOOTPROTO="static"	//修改
//添加下面三行
IPADDR=192.168.100.120
NETMASK=255.255.255.0
GATEWAY=192.168.100.1
[[e-mail] ~]# systemctl restart network
[[e-mail] ~]# systemctl start nfs
[[e-mail] ~]# systemctl start rpcbind
//开启远程过程调用

⑦ 查看共享目录

[[e-mail] ~]# showmount -e
Export list for nfs:
/opt/accp 192.168.100.0/24
/opt/kgc  192.168.100.0/24

7.2.2 配置httpd

①NFS此时就算配好了，接下来配置web（两台web一起安装）

[[e-mail] ~]# hostnamectl set-hostname web1
[[e-mail] ~]# su
//另一台主机名设为web2
[[e-mail] ~]# yum install httpd -y
[[e-mail] ~]# systemctl stop firewalld
[[e-mail] ~]# setenforce 0

②接下来没有要在线安装的组件了，可以切换网卡为仅主机模式，设置静态IP

[[e-mail] ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 
BOOTPROTO="static"		//修改为静态
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="8d222179-116b-41b5-8b47-0076ca1aeddb"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.100.110		//web2的IP地址设为192.168.100.111
NETMASK=255.255.255.0
GATEWAY=192.168.100.1
[[e-mail] ~]# systemctl restart network

③ 查看nfs服务器的共享目录

[[e-mail] ~]# showmount -e 192.168.100.120
Export list for 192.168.100.120:
/opt/accp 192.168.100.0/24
/opt/kgc  192.168.100.0/24
[[e-mail] ~]# 

④ 修改/etc/fstab文件进行挂载设置

[[e-mail] ~]# vim /etc/fstab 
192.168.100.120:/opt/kgc        /var/www/html   nfs     defaults,_netdev        0       0
//web2服务器上面挂载192.168.100.120：/opt/accp
[[e-mail] ~]# mount -a

查看挂载点

[[e-mail] ~]# df -Th
文件系统                 类型      容量  已用  可用 已用% 挂载点
/dev/mapper/centos-root  xfs        20G  5.0G   16G   25% /
devtmpfs                 devtmpfs  977M     0  977M    0% /dev
tmpfs                    tmpfs     993M     0  993M    0% /dev/shm
tmpfs                    tmpfs     993M  9.0M  984M    1% /run
tmpfs                    tmpfs     993M     0  993M    0% /sys/fs/cgroup
/dev/mapper/centos-home  xfs        10G   33M   10G    1% /home
/dev/sda1                xfs       6.0G  161M  5.9G    3% /boot
tmpfs                    tmpfs     199M   20K  199M    1% /run/user/0
/dev/sr0                 iso9660   4.3G  4.3G     0  100% /run/media/root/CentOS 7 x86_64
192.168.100.120:/opt/kgc nfs4       20G   32M   20G    1% /var/www/html

⑤此时就可以去到站点写默认首页index.html

[[e-mail] ~]# cd /var/www/html
[[e-mail] html]# ls
[[e-mail] html]# vim index.html
[[e-mail] html]# cat index.html 
<h1>this is kgc web</h1>
[[e-mail] html]# 

[[e-mail] ~]# cd /var/www/html/
[[e-mail] html]# ls
[[e-mail] html]# vim index.html
[[e-mail] html]# cat index.html
<h1>this is accp web</h1>

⑥开启服务

[[e-mail] html]# systemctl start httpd
[[e-mail] html]# netstat -natp | grep 80
tcp6       0      0 :::80                   :::*                    LISTEN      48869/httpd       

7.2.3 接下来开始配置LVS

lvs有两块网卡，都是仅主机模式，不过要先yum在线安装ipvsadm，后再切换到仅主机模式

①安装ipvsadm组件

[[e-mail] ~]# yum install ipvsadm -y

②切换网卡为静态

[[e-mail] ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet6 fe80::413b:c9ad:e0e:1afc  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:d6:c0:8a  txqueuelen 1000  (Ethernet)
        RX packets 201285  bytes 15752053 (15.0 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 292471  bytes 41175637 (39.2 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens36: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
[[e-mail] ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="0f432513-5d7a-455c-88b4-257a9a1dbb45"		//这一行在ens36中删掉
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.100.1
NETMASK=255.255.255.0
[[e-mail] ~]# cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens36
[[e-mail] ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens36
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens36"
DEVICE="ens36"
ONBOOT="yes"
IPADDR=12.0.0.1
NETMASK=255.255.255.0
[[e-mail] ~]# 
[[e-mail] ~]# systemctl restart network

验证是否互联互通

[[e-mail] html]# ping 192.168.100.1
PING 192.168.100.1 (192.168.100.1) 56(84) bytes of data.
64 bytes from 192.168.100.1: icmp_seq=1 ttl=64 time=0.652 ms
64 bytes from 192.168.100.1: icmp_seq=2 ttl=64 time=0.764 ms
64 bytes from 192.168.100.1: icmp_seq=3 ttl=64 time=0.736 ms
^C
--- 192.168.100.1 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2003ms
rtt min/avg/max/mdev = 0.652/0.717/0.764/0.052 ms

③开启路由转发功能

[[e-mail] ~]# vim /etc/sysctl.conf 
net.ipv4.ip_forward=1

④先提前配置好客户端的IP地址

⑤查看lvs防火墙状态，清空iptables中的规则，清空nat地址转换表表中的规则

[[e-mail] ~]# systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: active (running) since 二 2020-01-14 16:01:12 CST; 2s ago
[[e-mail] ~]# iptables -F	//清除默认的转发表
[[e-mail] ~]# iptables -t nat -F		//清除地址转换表

⑥此时客户端pingNFS服务器无法访问，可以访问lvs服务器的两个节点

⑦配置nat地址转换

[[e-mail] ~]# iptables -t nat -A POSTROUTING -o ens36 -s 192.168.100.0/24 -j SNAT --to-source 12.0.0.1

-t nat 指定地址转换表 -A 插入，在链条的末尾去插入 -o ens36 指定出口为ens36 -s 源地址是192.168.100.0网段 -j指的是操作，做SNAT操作，是基于源地址的操作 --to-source 对后面的IP地址执行操作

⑧加载一下路由功能

[[e-mail] ~]# sysctl -p
net.ipv4.ip_forward = 1

此时可以正常转发数据包了

7.2.4 加载LVS内核模块

①centos7需要先保存一下，才能开启ipvs

[[e-mail] ~]# modprobe ip_vs
[[e-mail] ~]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn
[[e-mail] ~]# systemctl start ipvsadm.service 
Job for ipvsadm.service failed because the control process exited with error code. See "systemctl status ipvsadm.service" and "journalctl -xe" for details.
[[e-mail] ~]# ipvsadm --save > /etc/sysconfig/ipvsadm

②lvs的脚本可以选择一个自己认为合适的位置去创建

[[e-mail] ~]# systemctl start ipvsadm.service 
[[e-mail] ~]# cd /opt
[[e-mail] opt]# vim nat.sh
#!/bin/bash
ipvsadm -C
ipvsadm -A -t 12.0.0.1:80 -s rr
ipvsadm -a -t 12.0.0.1:80 -r 192.168.100.110:80 -m
ipvsadm -a -t 12.0.0.1:80 -r 192.168.100.111:80 -m
ipvsadm

------------NAT、只要在服务器上配置，业务服务器不需要特殊配置----------

echo “1” > /proc/sys/net/ipv4/ip_forward 启用路由转发功能

ipvsadm -C //清空ipvsadm中的缓存，相当于初始化

ipvsadm -A -t 12.0.0.1:80 -s rr //-A 创建 -t 指定访问的入口（外网口），指定调度算法-s rr(轮询算法)

ipvsadm -a -t 12.0.0.1:80 -r 192.168.100.110:80 -m //-a 添加 -r 添加真实的IP地址+端口号 -m 指定使用LVS当中NAT的轮询机制

ipvsadm -a -t 12.0.0.1:80 -r 192.168.100.111:80 -m

ipvsadm

③ 启动脚本

[[e-mail] opt]# chmod +x nat.sh 
[[e-mail] opt]# ./nat.sh 
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  lvs:http rr
  -> 192.168.100.110:http         Masq    1      0          0         
  -> 192.168.100.111:http         Masq    1      0          0         
[[e-mail] opt]# 

7.2.5 然后客户端去访问

清空缓存，再次访问

缓存在测试环境中有很大的影响作用，记得多清几次