集群概述及LVS

什么是集群

• 一组通过高速网络互联的计算组,并以单一[系统的模式加以管理
• 将很多服务器集中起来一起,提供同一种服务,在客户端看来就像是只有一个服务器
• 可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益
• 任务调度是集群系统中的核心技术

集群的目的

• 提高性能

    --如计算密集型应用,如:天气预报、核试验模拟

• 降低成本

   --相对百万美元级的超级计算机,价格便宜

• 提高可扩展性

   --只要增加集群节点即可

• 增强可靠性

   --多个节点完成相同功能,避免单点失败

集群分类

• 高性能计算集群HPC

   --通过以集群开发的并行应用程序,解决复杂的科学问题

• 负载均衡(LB)集群

   --客户端负载在计算机集群中尽可能平均分摊

• 高可用(HA)集群

   --避免单点故障,当一个系统发生故障时,可以快速迁移

LVS项目介绍

• Linux虚拟服务器(LVS)是章文嵩在国防科技大学就读博士期间创建的
• LVS可以实现高可用的、可伸缩的Web、Mail、Cache和Media等网络服务
• 最终目标是利用Linux操作系统和LVS集群软件实现一个高可用、高性能、低成本的服务器应用集群

LVS集群组成

• 前端:负载均衡层

    -- 由一台或多台负载调度器构成

• 中间:服务器群组成

   --由一组实际运行应用服务的服务器组成

• 底端:数据共享存储层

    --提供共享存储空间的存储区域

LVS术语

• Director Server:调度服务器

    --将负载分发到Real Server的服务器

• Real Server:真实服务器

  --真正提供应用服务的服务器

• VIP:虚拟IP地址

   --公布给用户访问的虚拟IP地址

• RIP:真实IP地址

  --集群节点上使用的IP地址

• DIP:调度器连接节点服务器的IP地址

LVS工作模式

• VS/NAT

    --通过网络地址转换实现的虚拟服务器

    --大并发访问时,调度器的性能成为瓶颈

• VS/DR

   --直接使用路由技术实现虚拟服务器

   --节点服务器需要配置VIP,注意MAC地址广播

• VS/TUN

   --通过隧道方式实现虚拟服务器

负载均衡调度算法

• 轮询(Round Robin)

   --将客户端请求平均分发到Real Server

• 加权轮询(Weighted Round Robin)

   --根据Real Server权重值进行轮询调度

• 最少连接(Least Connections)

    --选择连接数最少的服务器

• 加权最少连接

   -- 根据Real Server权重值,选择连接数最少的 服务器

• 源地址散列(Source Hashing)

    --根据请求的目标IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器

1 案例1：ipvsadm命令用法

1.1 问题

准备一台Linux服务器，安装ipvsadm软件包，练习使用ipvsadm命令，实现如下功能：

• 使用命令添加基于TCP一些的集群服务
• 在集群中添加若干台后端真实服务器
• 实现同一客户端访问，调度器分配固定服务器
• 会使用ipvsadm实现规则的增、删、改
• 保存ipvsadm规则

1.2 方案

安装ipvsadm软件包，关于ipvsadm的用法可以参考man ipvsadm资料。

常用ipvsadm命令语法格式如表-1及表-2所示。

                                          表－1 ipvsadm命令选项

                                          表－2 ipvsadm语法案例

 

.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：使用命令增、删、改LVS集群规则

1）创建LVS虚拟集群服务器（算法为加权轮询：wrr）

[[e-mail] ~]# yum -y install ipvsadm
[[e-mail] ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr
[[e-mail] ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.4.5:80 wrr

2）为集群添加若干real server

[[e-mail] ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 
[[e-mail] ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.4.5:80 wrr
  -> 192.168.2.100:80             router    1      0          0
[[e-mail] ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -m -w 2
[[e-mail] ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.201 -m -w 3
[[e-mail] ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.202 -m -w 4

3）修改集群服务器设置(修改调度器算法，将加权轮询修改为轮询)

[[e-mail] ~]# ipvsadm -E -t 192.168.4.5:80 -s rr
[[e-mail] ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.4.5:80 rr
  -> 192.168.2.100:80             router    1      0          0         
  -> 192.168.2.200:80             masq      2      0          0         
  -> 192.168.2.201:80             masq      2      0          0         
  -> 192.168.2.202:80             masq      1      0          0

4）修改read server（使用-g选项，将模式改为DR模式）

[[e-mail] ~]# ipvsadm -e -t 192.168.4.5:80 -r 192.168.2.202 -g

 5）查看LVS状态

[[e-mail] ~]# ipvsadm -Ln

6）创建另一个集群（算法为最少连接算法；使用-m选项，设置工作模式为NAT模式）

[[e-mail] ~]# ipvsadm -A -t 192.168.4.5:3306 -s lc
[[e-mail] ~]# ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.100 -m
[[e-mail] ~]# ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.200 -m

7）永久保存所有规则

[[e-mail] ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm

8）清空所有规则

[[e-mail] ~]# ipvsadm -C

2 案例2：部署LVS-NAT集群

2.1 问题

使用LVS实现NAT模式的集群调度服务器，为用户提供Web服务：

• 集群对外公网IP地址为192.168.4.5
• 调度器内网IP地址为192.168.2.5
• 真实Web服务器地址分别为192.168.2.100、192.168.2.200
• 使用加权轮询调度算法，真实服务器权重分别为1和2

2.2 方案

实验拓扑结构主机配置细节如表-3所示。

使用4台虚拟机，1台作为Director调度器、2台作为Real Server、1台客户端，拓扑结构如图-1所示，注意：web1和web2必须配置网关地址。

 

2.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：配置基础环境

1）设置Web服务器（以web1为例）

[[e-mail] ~]# yum -y install httpd
[[e-mail] ~]# echo "192.168.2.100" > /var/www/html/index.html

2）启动Web服务器软件

[[e-mail] ~]# systemctl restart httpd

常见问题：如果httpd服务启动启动的比较慢？

解决方法：可以修改/etc/httpd/conf/httpd.conf文件，

将ServerName www.example.com:80这行的#注释符删除即可。

步骤二：部署LVS-NAT模式调度器

1)确认调度器的路由转发功能(如果已经开启，可以忽略)

[[e-mail] ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
[[e-mail] ~]# cat /proc/sys/net/ipv4/ip_forward
1
[[e-mail] ~]# echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
#修改配置文件，设置永久规则

2)创建集群服务器

[[e-mail] ~]# yum -y install ipvsadm
[[e-mail] ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr

3）添加真实服务器

[[e-mail] ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 -w 1 -m
[[e-mail] ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -w 1 -m

4）查看规则列表，并保存规则

[[e-mail] ~]# ipvsadm -Ln
[[e-mail] ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm

步骤三：客户端测试

客户端使用curl命令反复连接http://192.168.4.5，查看访问的页面是否会轮询到不同的后端真实服务器。

3 案例3：部署LVS-DR集群

3.1 问题

使用LVS实现DR模式的集群调度服务器，为用户提供Web服务：

• 客户端IP地址为192.168.4.10
• LVS调度器VIP地址为192.168.4.15
• LVS调度器DIP地址设置为192.168.4.5
• 真实Web服务器地址分别为192.168.4.100、192.168.4.200
• 使用加权轮询调度算法，web1的权重为1，web2的权重为2

说明：

CIP是客户端的IP地址；

VIP是对客户端提供服务的IP地址；

RIP是后端服务器的真实IP地址；

DIP是调度器与后端服务器通信的IP地址（VIP必须配置在虚拟接口）。

3.2 方案

使用4台虚拟机，1台作为客户端、1台作为Director调度器、2台作为Real Server，拓扑结构如图-2所示。实验拓扑结构主机配置细节如表-4所示。

                                         

                                                                         

                                                       表-4

                                                      

3.3 步骤

实现此案例需要按照如下步骤进行。

说明：

CIP是客户端的IP地址；

VIP是对客户端提供服务的IP地址；

RIP是后端服务器的真实IP地址；

DIP是调度器与后端服务器通信的IP地址（VIP必须配置在虚拟接口）。

步骤一：配置实验网络环境

1）设置Proxy服务器的VIP和DIP

注意：为了防止冲突，VIP必须要配置在网卡的虚拟接口！！！

3.3 步骤

实现此案例需要按照如下步骤进行。

说明：

CIP是客户端的IP地址；

VIP是对客户端提供服务的IP地址；

RIP是后端服务器的真实IP地址；

DIP是调度器与后端服务器通信的IP地址（VIP必须配置在虚拟接口）。

步骤一：配置实验网络环境

1）设置Proxy服务器的VIP和DIP

注意：为了防止冲突，VIP必须要配置在网卡的虚拟接口！！！

 [[e-mail] ~]# cd /etc/sysconfig/network-scripts/
[[e-mail] ~]# cp ifcfg-eth0{,:0}
[[e-mail] ~]# vim ifcfg-eth0:0
TYPE=Ethernet
#网卡类型为：以太网卡
BOOTPROTO=none
#none手动配置IP，或者dhcp自动配置IP
NAME=eth0:0
#网卡名称
DEVICE=eth0:0
#设备名称
ONBOOT=yes
#开机时是否自动**该网卡
IPADDR=192.168.4.15
#IP地址
PREFIX=24
#子网掩码
[[e-mail] ~]# systemctl restart network
[[e-mail] ~]# ifconfig

常见问题：RHEL7和Centos7系统中有两个管理网络的服务，有可能冲突？

解决方法：关闭NetworkManager服务后重启network即可。

2）设置Web1服务器网络参数

[[e-mail] ~]# nmcli connection modify eth0 ipv4.method manual \
ipv4.addresses 192.168.4.100/24 connection.autoconnect yes
[[e-mail] ~]# nmcli connection up eth0

接下来给web1配置VIP地址。

注意：这里的子网掩码必须是32（也就是全255），网络地址与IP地址一样，广播地址与IP地址也一样。

[[e-mail] ~]# cd /etc/sysconfig/network-scripts/
[[e-mail] ~]# cp ifcfg-lo{,:0}
[[e-mail] ~]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.4.15
NETMASK=255.255.255.255
NETWORK=192.168.4.15
BROADCAST=192.168.4.15
ONBOOT=yes
NAME=lo:

防止地址冲突的问题：

这里因为web1也配置与调度器一样的VIP地址，默认肯定会出现地址冲突；

sysctl.conf文件写入这下面四行的主要目的就是访问192.168.4.15的数据包，只有调度器会响应，其他主机都不做任何响应，这样防止地址冲突的问题

[[e-mail] ~]# vim /etc/sysctl.conf
#手动写入如下4行内容
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
#当有arp广播问谁是192.168.4.15时，本机忽略该ARP广播，不做任何回应
#本机不要向外宣告自己的lo回环地址是192.168.4.15
[[e-mail] ~]# sysctl -p

重启网络服务，设置防火墙与SELinux

[[e-mail] ~]# systemctl restart network
[[e-mail] ~]# ifconfig

常见错误：如果重启网络后未正确配置lo:0，有可能是NetworkManager和network服务有冲突，关闭NetworkManager后重启network即可。（非必须的操作）

[[e-mail] ~]# systemctl stop NetworkManager
[[e-mail] ~]# systemctl restart network

3）设置Web2服务器网络参数

[[e-mail] ~]# nmcli connection modify eth0 ipv4.method manual \
ipv4.addresses 192.168.4.200/24 connection.autoconnect yes
[[e-mail] ~]# nmcli connection up eth0

接下来给web2配置VIP地址

注意：这里的子网掩码必须是32（也就是全255），网络地址与IP地址一样，广播地址与IP地址也一样。

[[e-mail] ~]# cd /etc/sysconfig/network-scripts/
[[e-mail] ~]# cp ifcfg-lo{,:0}
[[e-mail] ~]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.4.15
NETMASK=255.255.255.255
NETWORK=192.168.4.15
BROADCAST=192.168.4.15
ONBOOT=yes
NAME=lo:0

 

防止地址冲突的问题：

这里因为web1也配置与调度器一样的VIP地址，默认肯定会出现地址冲突；

sysctl.conf文件写入这下面四行的主要目的就是访问192.168.4.15的数据包，只有调度器会响应，其他主机都不做任何响应，这样防止地址冲突的问题.

[[e-mail] ~]# systemctl restart network
[[e-mail] ~]# ifconfig

重启网络服务，设置防火墙与SELinux

[[e-mail] ~]# systemctl restart network
[[e-mail] ~]# ifconfig

常见错误：如果重启网络后未正确配置lo:0，有可能是NetworkManager和network服务有冲突，关闭NetworkManager后重启network即可。（非必须的操作）

[[e-mail] ~]# systemctl stop NetworkManager
[[e-mail] ~]# systemctl restart network

步骤二：proxy调度器安装软件并部署LVS-DR模式调度器

1）安装软件（如果已经安装，此步骤可以忽略）

[[e-mail] ~]# yum -y install ipvsadm

 2）清理之前实验的规则，创建新的集群服务器规则

[[e-mail] ~]# ipvsadm -C                                #清空所有规则
[[e-mail] ~]# ipvsadm -A -t 192.168.4.15:80 -s wrr

3）添加真实服务器(-g参数设置LVS工作模式为DR模式，-w设置权重)

[[e-mail] ~]# ipvsadm -a -t 192.168.4.15:80 -r 192.168.4.100 -g -w 1
[[e-mail] ~]# ipvsadm -a -t 192.168.4.15:80 -r 192.168.4.200 -g -w 1

4）查看规则列表，并保存规则

[e-mail] ~]# ipvsadm -Ln
TCP  192.168.4.15:80 wrr
  -> 192.168.4.100:80             Route   1      0          0         
  -> 192.168.4.200:80             Route   2      0          0

步骤三：客户端测试

客户端使用curl命令反复连接http://192.168.4.15，查看访问的页面是否会轮询到不同的后端真实服务器。

扩展知识：默认LVS不带健康检查功能，需要自己手动编写动态检测脚本，实现该功能：(参考脚本如下，仅供参考)

[e-mail] ~]# vim check.sh
#!/bin/bash
VIP=192.168.4.15:80
RIP1=192.168.4.100
RIP2=192.168.4.200
while :
do
   for IP in $RIP1 $RIP2
   do
           curl -s http://$IP &>/dev/vnull
if [ $? -eq 0 ];then
            ipvsadm -Ln |grep -q $IP || ipvsadm -a -t $VIP -r $IP
        else
             ipvsadm -Ln |grep -q $IP && ipvsadm -d -t $VIP -r $IP
        fi
   done
sleep 1
done