解决方案之关于Nginx高可用方案

解决方案：Nginx高可用方案

关键词

• KeepAlived（主服务器 和 备份服务器 故障时 IP 瞬间无缝交接）
• VRRP协议（路由器组，提供虚拟IP，一个master和多个backup，组播消息，选举backup当master）
• Nginx+keepalived 双机主主模式（俩公网虚拟IP，负载）；双机主从模式（热备服务器）

需求：

由于业务扩展，网站的访问量不断加大，负载越来越高。现需要在web前端放置nginx负载均衡。

在生产环境下，Nginx作为流量的入口，如果Nginx不能正常工作或服务器宕机，将导致整个微服务架构的不可用。

所以结合keepalived对前端nginx实现HA高可用

一、Nginx & KeepAlived

Nginx 进程基于Master+Slave(worker)多进程模型，自身具有非常稳定的子进程管理功能。在Master进程分配模式下，Master进程永远不进行业务处理，只是进行任务分发，从而达到Master进程的存活高可靠性，Slave(worker)进程所有的业务信号都 由主进程发出，Slave(worker)进程所有的超时任务都会被Master中止，属于非阻塞式任务模型。

KeepAlived是Linux下面实现VRRP备份路由的高可靠性运行件。基于KeepAlived设计的服务模式能够真正做到主服务器和备份服务器故障时IP瞬间无缝交接。二者结合，可以构架出比较稳定的软件LB（Load Balance）方案。

KeepAlived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，KeepAlived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后KeepAlived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器。

KeepAlived是一个基于VRRP协议来实现的服务高可用方案，可以利用其来避免IP单点故障，类似的工具还有Heartbeat 、Corosync、Pacemaker。但是它一般不会单独出现，而是与其它负载均衡技术（如LVS、Haproxy、Nginx）一起工作来达到集群的高可用。

二、VRRP协议

VRRP全称 Virtual Router Redundancy Protocol，即”虚拟路由冗余协议“。可以认为它是实现路由器高可用的容错协议，即将N台提供相同功能的路由器组成一个路由器组(Router Group)，这个组里面有一个master和多个backup，但在外界看来就像一台一样，构成虚拟路由器，拥有一个虚拟IP（VIP - Virtual IP，也就是路由器所在局域网内其他机器的默认路由），占有这个IP的master实际负责ARP相应和转发IP数据包，组中的其它路由器作为备份的角色处于待命状态。master会发组播消息，当backup在超时时间内收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master，保证路由器的高可用。

在VRRP协议实现里，虚拟路由器使用 00-00-5E-00-01-XX 作为虚拟MAC地址，XX就是唯一的 VRID （Virtual Router IDentifier），这个地址同一时间只有一个物理路由器占用。在虚拟路由器里面的物理路由器组里面通过多播IP地址 224.0.0.18 来定时发送通告消息。每个Router都有一个 1-255之间的优先级别，级别最高的（highest priority）将成为主控（master）路由器。通过降低master的优先权可以让处于backup状态的路由器抢占（pro-empt）主路由器的状态，两个backup优先级相同的IP地址较大者为master，接管虚拟IP。

三、双机高可用解决方案

（1）Nginx+keepalived 双机主从模式：

即前端使用两台服务器，一台主服务器和一台热备服务器，正常情况下，主服务器绑定一个公网虚拟IP，提供负载均衡服务，热备服务器处于空闲状态；当主服务器发生故障时，热备服务器接管主服务器的公网虚拟IP，提供负载均衡服务；但是热备服务器在主机器不出现故障的时候，永远处于浪费状态，对于服务器不多的网站，该方案不经济实惠。

（2）Nginx+keepalived 双机主主模式：

即前端使用两台负载均衡服务器，互为主备，且都处于活动状态，同时各自绑定一个公网虚拟IP，提供负载均衡服务；当其中一台发生故障时，另一台接管发生故障服务器的公网虚拟IP（这时由非故障机器一台负担所有的请求）。

四、基础环境准备

两台服务器：192.168.253.11（主）， 192.168.253.12（从），每台服务器上分别安装Nginx 、KeepAlived。

cd /usr/local/openresty/nginx/sbin

./nginx -s stop

（1）安装Nginx：

# 添加源
sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

# 安装Nginx
sudo yum install -y nginx

# 启动Nginx
sudo systemctl start nginx.service

# 浏览器访问测试
http://192.168.253.11/
http://192.168.253.12/

（2）安装KeepAlived可使用yum直接安装：

yum -y install keepalived

查看KeepAlived配置文件：

cat /etc/keepalived/keepalived.conf

接下来就是要对该配置文件进行修改，该配置文件在/etc/keepalived/路径下。在默认的keepalive.conf里面还有 virtual_server，real_server 这样的配置，它是为lvs准备的。 

（3）关闭防火墙（默认关闭）

（4）关闭selinux（如果不关闭，KeepAlived不生效）

临时关闭：

[root@localhost ~]# getenforce Enforcing
[root@localhost ~]# setenforce 0
[root@localhost ~]# getenforce

Permissive

永久关闭：

[root@localhost ~]# vim /etc/sysconfig/selinux

SELINUX=enforcing 改为 SELINUX=disabled

重启服务reboot

五、配置主备模式

（1）修改主配置文件：

! Configuration File for keepalived

global_defs {
     notification_email {
          acassen@firewall.loc
          failover@firewall.loc
          sysadmin@firewall.loc
     }
     
     notification_email_from Alexandre.Cassen@firewall.loc
     smtp_server 127.0.0.1
     smtp_connect_timeout 30
     router_id master11
}

# nginx挂了，实现vip自动漂移，使用如下脚本控制     
vrrp_script check_nginx {
      script "/usr/local/nginx/nginx_check.sh"
      interval 2  # 机器宕机执行的次数
      weight 2
}

# 当前实例配置
vrrp_instance VI_1 {
     state MASTER   # 主机
     interface ens33  # 绑定的网卡
     virtual_router_id 51   # 组id，需要一致
     priority 100  # 优先级
     advert_int 1  # 检查间隔，默认1s
     
     # 调用nginx挂了之后进行vip漂移的函数  
     track_script {
       	check_nginx
     }
     
     authentication {
       	auth_type PASS
       	auth_pass 1111
     }
     
     # 配置vip
     virtual_ipaddress {
        192.168.253.50/24 dev ens33 label ens33:1 scope global
 	 }
}

在默认的keepalive.conf里面还有 virtual_server，real_server 这样的配置，我们这用不到，它是为lvs准备的。 

（2）/usr/local/nginx/nginx_check.sh ：

# 在/usr/local下新建目录nginx
mkdir nginx
# 新建文件
touch nginx_check.sh

# 编辑内容
#!/bin/bash
A=`ps -C nginx --no-header |wc -l`   #查看nginx进程是否存在  
#if [ $A -eq 0 ];then              
  /usr/sbin/nginx         #重启nginx
  if [ $A -eq 0 ];then   #nginx重启失败
    exit 1 # keepalived执行脚本，返回非0结果，ip漂移
  else
    exit 0 # keepalived执行脚本，返回0，ip不漂移
  fi
#else
#  exit 0
#fi

需要给nginx_check.sh文件加可执行权限：

chmod +x nginx_check.sh

（3）修改从机keepalived.conf配置文件：

! Configuration File for keepalived
global_defs {
     notification_email {
          acassen@firewall.loc
          failover@firewall.loc
          sysadmin@firewall.loc
     }
    
     notification_email_from Alexandre.Cassen@firewall.loc
     smtp_server 127.0.0.1
     smtp_connect_timeout 30
     router_id backup
}

vrrp_script check_nginx {
     script "/usr/local/nginx/nginx_check.sh"
     interval 2
     weight 2
}

vrrp_instance VI_1 {
     state BACKUP  # 从机
     interface ens33
     virtual_router_id 51  # 组id，需要一致
     priority 99   # 优先级
     advert_int 1
        
     # 调用nginx挂了之后进行vip漂移的函数    
     track_script {
       	check_nginx
     }
     
     authentication {
       	auth_type PASS
       	auth_pass 1111
     }
    
     # 配置vip
     virtual_ipaddress {
        192.168.253.50/24 dev eth0 label ens33:1 scope global
     }
}

同样需要在/usr/local/nginx/路径下放上nginx_check.sh脚本文件。 

（4） 启动nginx、keepalived

#主从启动
sudo systemctl restart nginx.service

#主从启动
systemctl start keepalived

（5）访问测试

为效果明显，可以修改Nginx首页，将主从IP地址放置首页以便区分。

访问http://192.168.253.50 or curl 192.168.253.50

查看Nginx日志：

cd  /var/log/nginx/
cat  access.log

查看主服务器keepalived日志:

Keepalived默认所有的日志都是写入到/var/log/message ，

你可以使用命令 tail -f /var/log/messages|grep Keepalived 进行查看

查看ens33网卡信息：

ip addr | grep ens33

2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc
pfifo_fast state UNKNOWN group default qlen 1000
 inet 192.168.253.11/24 brd 192.168.253.255 scope
global noprefixroute ens33 
 inet 192.168.253.50/24 scope global secondary ens33:1
#VIP已漂移到主机，vip只能选择一个机器进行绑定

（6）停掉主服务器的nginx

通过浏览器访问：http://192.168.253.50

查看主机KeepAlived日志：

tail -f /var/log/messages|grep Keepalived

# 强制停止
pkill -9 nginx

# 查看Nginx进程
ps -ef | grep nginx

# 等待几秒后再次查看Nginx进程，发现已经通过检查脚本自启
# 因为在keepalived脚本中，进行了nginx重启操作

则会执行脚本nginx_check.sh进行nginx启动！

• 如果master上的nginx服务挂了，则nginx会自动重启，重启失败后会自动关闭keepalived，这样vip资源也会转移到slave上。
• master和slave两边都开启nginx服务，无论master还是slave，当其中的一个keepalived服务停止后，vip都会漂移到keepalived服务还在的节点上；
• 如果要想使nginx服务挂了，vip也漂移到另一个节点，则必须用脚本或者在配置文件里面用shell命令来控制。（nginx服务宕停后会自动启动，启动失败后会会致使vip资源漂移到另一台机器上）

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持服务器之家。

原文链接：https://blog.csdn.net/chuanchengdabing/article/details/119727185