LVS负载均衡群集理论加LVS-NAT部署实操！！
程序员文章站
2024-01-31 23:28:22
...
文章目录
由于实验室拟态存储的项目需要通过NAT模式来映射NFS服务器已实现负载均衡的目的，通过调研了多种负载均衡机制，笔者最终选择了LVS的NAT模式来实现需求，接下来通过博客来记录一下LVS-NAT模式的配置流程。
LVS服务的简介：
LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统，在1998年5月由章文嵩先生主导开发。LVS集群实现了IP负载均衡技术和基于内容请求分发技术。调度器通过将请求均衡地转移到不同的服务器上执行，且可以屏蔽掉后台故障的服务器，从而将一组服务器构成一个高性能的、高可用的服务器集群，而这样的结构对客户端来说是完全透明的，所以无需修改客户端和服务器端的程序。
一：负载均衡群集原理
1.1：群集的含义
Cluster，群集，集群
由多台主机构成，但对外只表现为一个整体
在互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器力不从心
1.2：解决方法
使用价格昂贵的小型机、大型机
使用普通服务器构建服务群集
阿里云中的SLB是典型的负载均衡调度器，ECS是云主机（虚拟机）
SLB调度ECS，多个ECS组成资源池，构成云计算的基础
1.3：何为LVS？
LVS——Linux Virtual Server，即Linux虚拟服务器（虚拟主机、共享主机），虚拟主机在这里就不再赘述了，相信大家都明白。
而LVS是一个虚拟的服务器集群系统，其实现的是一个高性能、高可用的服务器。目前LVS已经被集成到Linux内核模块中。
1.4：LVS的构成
从物理层面上讲，LVS的主要组成：
- 负载调度器(load balancer/ Director)，它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址(我们可称之为虚拟IP地址)上的。
- 服务器池(server pool/ Realserver)，是一组真正执行客户请求的服务器，执行的服务一般有WEB、MAIL、FTP和DNS等。
- 共享存储(shared storage)，它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务
1.4：根据群集所针对的目标差异，可分为三种类型
负载均衡群集高可用群集高性能运算群集
1.4.1：负载均衡群集（Load Balance Cluster）
- 以提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标，获得高并发、高负载（LB）的整体性能
- LB的负载分配依赖于主节点的分流算法，分流算法即调度
1.4.2：高可用群集（High Availability Cluster）
- 以提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用（HA）的容错效果
- HA的工作方式包括双工和主从两种模式
双工，两个平级状态的协同工作，随时顶替对方带有主从模式的，一台主，多台从，称为中心化群集去中心化机制：没有真正的主，如果有，也是象征意义的，所有节点都干活（Redis的群集就是典型去中心化机制）
1.4.3：高性能运算群集（High Performance Computer Cluster）
- 以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC）能力
- 高性能运算群集的髙性能依赖于“分布式运算″、“并行计算”，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力
1.5：群集的负载调度三种工作模式
1.51：NAR
地址转换（Network Address Translation）
- 简称NAT模式，类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口
- 服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式
1.52：TUN模式
-
IP隧道（IP Tunnel）- 简称TUN模式，采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的 Internet连接直接回应客户机，而不再经过负载调度器
- 服务器节点分散在互联网中的不同位置，具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信
1.53：DR模式
-
直接路由（Direct Routing）
- 简称DR模式，采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络
- 负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道
| 工作模式区别 | NAT模式 | TUN模式 | DR模式 |
|---|---|---|---|
| Real server（节点服务器） | |||
| Server number（节点数量） | Low 10-20 | High 100 | High 100 |
| 真实网关 | 负载调度器 | 自有路由器 | *路由器 |
| IP地址 | 公网+私网 | 公网 | 私网 |
| 优点 | 安全性高 | Wan环境加密数据 | 性能最高 |
| 缺点 | 效率低，压力大 | 需要隧道支持 | 不能跨越LAN |
二：部署步骤
1.加载ip_vs模块，安装ipvsadm工具
2.开启路由转发
3.新建LVS虚拟服务器并添加节点服务器
4.配置节点服务器
5.保存规则并测试
BL主机（负载调度器）：
使用轮询（rr）调度算法
| 主机名称 | 内网IP地址 | 外网IP地址 | 部署软件 |
|---|---|---|---|
| LVS-master（BL主机） | 192.168.100.1 | 12.0.0.1 | ipvsadm |
| NFS | 192.168.100.30 | 无 | nfs、rpcbind |
| WEB1 | 192.168.100.10 | 无 | httpd、nfs-utils |
| WEB2 | 192.168.100.20 | 无 | httpd、nfs-utils |
2.1：配置LVS服务器
#加载ip_vs模块，安装ipvsadm工具
[aaa@qq.com ~]# modprobe ip_vs
[aaa@qq.com ~]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
#下载管理模块工具
[aaa@qq.com ~]# yum -y install ipvsadm
-
给LVS服务器配置双网卡
-
都设置为仅主机模式
#使用无法显示网卡
[aaa@qq.com ~]# systemctl start NetworkManager
[aaa@qq.com ~]# cd /etc/sysconfig/network-scripts/
#复制ens33 新网卡为ens36
[aaa@qq.com network-scripts]# cp -p ifcfg-ens33 ifcfg-ens36
#编辑ens33
NAME=ens33
UUID=86503bd2-47b6-4518-8a5f-63e4de03d11e
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.100.1
PREFIX=24
#配置ens36 作为内网网关
NAME=ens36
DEVICE=ens36
ONBOOT=yes
IPADDR=12.0.0.1
NETMASK=255.255.255.0
#重启网卡
[aaa@qq.com network-scripts]# systemctl restart network
2.2：web1配置
#下载apache服务
[aaa@qq.com ~]# yum -y install httpd
网络模式选择仅主机
[aaa@qq.com ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.100.10
PREFIX=24
GATEWAY=192.168.100.1
#重启网卡
[aaa@qq.com ~]# systemctl restart network
2.2：web2设置
[aaa@qq.com ~]# yum -y install httpd
#同样的方法配置完成重启网卡
[aaa@qq.com ~]# systemctl restart network
ping一下两台服务器网关测试连接性
ping 192.168.100.1
....连接没问题
2.3：配置NFS服务器
[aaa@qq.com ~]# yum -y install rpcbind nfs-utils
- 配置网卡为仅主机模式
[aaa@qq.com ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR=192.168.100.30
GATEWAY=192.168.30.1
NETMASK=255.255.255.0
PREFIX=24
#重启网卡
[aaa@qq.com ~]# systemctl restart network
- 设置共享目录启动服务并关闭防火墙
#创建两个站点目录
[aaa@qq.com ~]# cd /opt
[aaa@qq.com opt]# mkdir shuai tom
[aaa@qq.com opt]# chmod 777 shuai/ tom/
#编辑共享目录
[aaa@qq.com opt]# vim /etc/exports
#rw：读写 sync:同步
/opt/shuai 192.168.100.0/24(rw,sync)
/opt/tom 192.168.100.0/24(rw.sync)
#重启服务关闭防火墙
[aaa@qq.com opt]# systemctl start rpcbind
[aaa@qq.com opt]# systemctl start nfs
[aaa@qq.com opt]# iptables -F
[aaa@qq.com opt]# setenforce 0
#发布共享
[aaa@qq.com opt]# exportfs -rv
exporting 192.168.100.0/24:/opt/tom
exporting 192.168.100.0/24:/opt/shuai
//web1查看
#显示nfs的信息
[aaa@qq.com ~]# showmount -e 192.168.100.10
Export list for 192.168.100.10:
/opt/tom 192.168.100.0/24
/opt/shuai 192.168.100.0/24
1
//web2查看
[aaa@qq.com ~]# showmount -e 20.0.10.44
Export list for 192.168.100.30:
/opt/tom 192.168.100.0/24
/opt/shuai 192.168.100.0/24
#web1进行挂载共享目录
[aaa@qq.com network-scripts]# vim /etc/fstab
#编辑以下内容
192.168.100.30:/opt/shuai /var/www/html nfs faults 0 0
#加载挂载
[aaa@qq.com ~]# mount -a
#查看挂载
[aaa@qq.com ~]# df -Th
文件系统 类型 容量 已用 可用 已用% 挂载点
.....省略信息
192.168.100.30:/opt/shuai nfs4 50G 4.1G 46G 9% /var/www/html
#web2进行共享挂载
[aaa@qq.com ~]# vim /etc/fstab
#编写
192.168.100.30:/opt/tom /var/www/html nfs defaults 0 0
#加载挂载
aaa@qq.com ~]# mount -a
#查看挂载
[aaa@qq.com ~]# df -Th
文件系统 类型 容量 已用 可用 已用% 挂载点
....省略信息
192.168.100.30:/opt/tom nfs4 50G 4.1G 46G 9% /var/www/html
编写web1跟web2的首页信息
[aaa@qq.com ~]# cd /var/www/html/
[aaa@qq.com html]# vim index.html
#编写主页信息
<h1>hello boy</h1>
#重启服务
[aaa@qq.com html]# systemctl restart httpd
#编写web2的首页信息
[aaa@qq.com html]# vim index.html
<h1>hello girl</h1>
#重启服务
[aaa@qq.com html]# systemctl restart httpd
- 查看首页信息
2.4：配置负载调度器SNAT转发规则
[aaa@qq.com ~]# vim nat.sh
#!/bin/bash
echo "1" > /proc/sys/net/ipv4/ip_forward //启动路由转发功能
ipvsadm -C //清除缓存
ipvsadm -A -t 12.0.0.1:80 -s rr //VIP地址 访问入口地址 -s启动调度算法 rr：轮巡
ipvsadm -a -t 12.0.0.1:80 -r 192.168.100.10:80 -m -m：nat模式
ipvsadm -a -t 12.0.0.1:80 -r 192.168.100.20:80 -m
ipvsadm //启用lvs功能实现调度
ipvsadm命令选项解析：
-C：清除内核虚拟服务器表中的所有记录
-A：增加一台新的虚拟服务器
-t：说明虚拟服务器提供的是tcp的服务
-s rr：启用轮询算法
-a：在一个虚拟服务器中增加一台新的真实服务器
-r：指定真实服务器
-m：指定LVS的工作模式为NAT模式
ipvsadm：启用LVS功能
#增加执行权限
[aaa@qq.com ~]# chmod +x nat.sh
#执行脚本
[aaa@qq.com ~]# sh nat.sh
nat.sh:行2: /proc/net/ipv4/ip_forward: 没有那个文件或目录
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 12.0.0.1:80 rr
-> 192.168.100.10:80 Masq 1 0 0
-> 192.168.100.20:80 Masq 1 0 0
1：权重自动分配为1
2.5：客户机访问
刷新一下就会轮巡到另一个网页