LVS-DR负载群集的优势和部署实例_服务器知识

一、DR模式数据包流向分析

1.Client 客户端发送请求到 Director Server（负载均衡器），请求的数据报文（源IP是 CIP，目的IP 是VIP）到达内核空间。

2.Director Server（负载均衡器）和 Real Server（节点服务器）在同一个网络中，数据通过二层数据链路层（MAC地址）传输。

3.内核空间判断数据包的目标IP是否是本机VIP，此时IPVS（IP虚拟服务器）比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。修改源MAC地址为Diretor Server的MAC地址，修改目的MAC 地址为 Real Server的 MAC 地址，源IP地址与目标IP地址没有改变，然后将数据包发送给Real Server处理。

4.到达Real Server的请求报文的 MAC 地址是自身的 MAC 地址，就接收此报文。数据包重新封装报文（将源IP地址改为VIP，目的IP 改为CIP)，将响应报文通过 lo 接口传送给物理网卡然后向外发出。

5.Real Server直接将响应报文传送到客户端。

二、DR模式的特点

Director Server 和 Real server 必须在同一个物理网络中。
Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问。
Director Server作为群集的访问入口，但不作为网关使用。
所有的请求报文经由 Director Server，但回复响应报文不能经过 Director Server。
Real Server 的网关不允许指向 Director Server IP，即Real Server发送的数据包不允许经过 Director Server。
Real Server 上的 lo 接口配置VIP的IP地址。

LVS-DR负载群集的优势和部署实例

三、DR模式中需要解决的问题

问题1

在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱。

当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播。

只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。

解决方式

对节点服务器进行处理，使其不响应针对VIP的ARP请求。

使用虚接口lo:0承载VIP地址，设置内核参数arp_ignore=1:系统只响应目的IP为本地lP的ARP请求。

问题2

Real Server返回报文(源IP是VIP)经网关路由器转发，重新封装报文时，需要先获取路由器的MAC地址。

发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址

解决方式

使用Real Server 的物理网卡地址（即RIP）作为响应报文的IP，这样就不会导致网关服务器的ARP缓存表的紊乱。

设置内核参数arp_announce=2 使系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址。

总结

       vim /etc/sysctl.conf

        #使linux系统只响应目的地址为本地物理网卡IP的ARP请求

        net.ipv4.conf.lo.arp_ignore = 1

        net.ipv4.conf.all.arp_ignore = 1

        #使linux系统不使用数据包的源IP来作为ARP请求报文的源IP，而使用发送接口的IP地址作为ARP请求报文的源IP

        net.ipv4.conf.lo.arp_announce = 2

        net.ipv4.conf.all.arp_announce = 2

四、LVS-DR部署实例

Web 服务器1：192.168.116.10（VIP 192.168.116.100）

Web 服务器2：192.168.116.20（VIP 192.168.116.100）

NFS 共享存储器：192.168.116.30

LVS 负载调度器：192.168.116.40

网关/路由器：192.168.116.2

客户端：192.168.116.50

1.配置NFS共享存储器

systemctl stop firewalld.service
setenforce 0

yum -y install nfs-utils rpcbind
mkdir /opt/nfs/server1 /opt/nfs/server2
chmod -R 777 /opt/nfs

vim /etc/exports
/opt/nfs 192.168.116.0/24(rw,sync)
/opt/nfs/server1 192.168.116.0/24(rw,sync)
/opt/nfs/server2 192.168.116.0/24(rw,sync)

systemctl restart rpcbind.service
systemctl restart nfs.service

检查发布的共享策略

LVS-DR负载群集的优势和部署实例

分别在共享目录中添加web测试页面（两个可以有所区别）

LVS-DR负载群集的优势和部署实例

2.配置节点web服务（两台的配置相同）

配置好ip地址，并将网关指定为网关/路由器的ip地址

安装nginx提供web服务（apache、nginx等均可，仅用于实验）

LVS-DR负载群集的优势和部署实例

查看是否共享成功

LVS-DR负载群集的优势和部署实例

添加回环网卡虚拟ip

cp /etc/sysconfig/network-scripts/ifcfg-lo /etc/sysconfig/network-scripts/ifcfg-lo:0

vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.116.100
NETMASK=255.255.255.255
ONBOOT=yes

ifup lo:0

LVS-DR负载群集的优势和部署实例

添加静态路由（将数据包封锁在回环网卡中）

#临时配置
route add -host 192.168.116.100 dev lo:0

#永久配置
vim /etc/rc.local
/sbin/route add -host 192.168.116.100 dev lo:0
chmod +x /etc/rc.d/rc.local

调整内核的ARP响应参数（阻止更新VIP的MAC地址，避免发生冲突）

vim /etc/sysctl.conf
#添加
net.ipv4.conf.lo.arp_ignore = 1		
net.ipv4.conf.lo.arp_announce = 2	
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

#加载配置
sysctl -p

3.配置LVS负载调度器

配置虚拟ip

vim /etc/sysconfig/network-scripts/ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.116.100
NETMASK=255.255.255.255


#启用网卡配置
ifup ens33:0

调整 proc 响应参数

#由于 LVS 负载调度器和各节点需要共用 VIP 地址，需要关闭 icmp 的重定向，不充当路由器。
vim /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

#启用配置
sysctl -p

启用ip_vs，下载并开启ipvsadm管理工具

modprobe ip_vs

yum install -y ipvsadm.x86_64 

#添加系统管理服务
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm.service

配置负载分配策略

#指定监听服务器虚拟ip的80端口，算法为轮询
ipvsadm -A -t 192.168.116.100:80 -s rr

#指定节点服务器 -t 指定虚拟ip -r 指定真实ip，-g 代表使用DR模式
ipvsadm -a -t 192.168.116.100:80 -r 192.168.116.10 -g
ipvsadm -a -t 192.168.116.100:80 -r 192.168.116.20 -g

#添加为默认策略
ipvsadm-save > /etc/sysconfig/ipvsadm

使用客户端访问测试（访问虚拟ip地址，刷新出多个页面代表不同节点服务器处理）

LVS-DR负载群集的优势和部署实例