负载均衡集群 1（7月4日）

2018-07-05

18.6 负载均衡集群介绍
18.7 LVS介绍
18.8 LVS调度算法
18.9/18.10 LVS NAT模式搭建

18.6 负载均衡集群介绍

负载均衡主流开源软件LVS、keepalived、haproxy、nginx等。
其中LVS属于4层（网络OSI 7层模型），nginx属于7层，haproxy既可以认为是4层，也可以当做7层使用。
其实keepalived的负载均衡功能其实就是lvs，lvs这种4层的负载均衡是可以分发除80外的其他端口通信的，比如MySQL的，而nginx仅仅支持http，https，mail，haproxy也支持MySQL这种。但是nginx可以实现根据目录来区分后端的服务器等更为灵活的功能。
相比较来说，LVS这种4层的更稳定，能承受更多的请求，而nginx这种7层的更加灵活，能实现更多的个性化需求。

18.7 LVS介绍

LVS是由国人章文嵩开发的。其流行度不亚于apache的httpd，是基于TCP/IP做的路由和转发，稳定性和效率很高。
LVS最新版本基于Linux内核2.6，有好多年不更新了。
LVS有三种常见的模式：NAT、DR、IP Tunnel
LVS架构中有一个核心角色叫做分发器（Load balance），它用来分发用户的请求，还有诸多处理用户请求的服务器（Real Server，简称rs）

NAT模式

这种模式借助iptables的nat表来实现
用户的请求到分发器后，通过预设的iptables规则，把请求的数据包转发到后端的rs上去
rs需要设定网关为分发器的内网ip
用户请求的数据包和返回给用户的数据包全部经过分发器，所以分发器成为瓶颈，一般请求量在10台以下。
在nat模式中，只需要分发器有公网ip即可，所以比较节省公网ip资源。

IP Tunnel模式

这种模式，需要有一个公共的IP配置在分发器和所有rs上，我们把它叫做vip
客户端请求的目标IP为vip，分发器接收到请求数据包后，会对数据包做一个加工，会把目标IP改为rs的IP，这样数据包就到了rs上
rs接收数据包后，会还原原始数据包，这样目标IP又变回为vip，因为所有rs上配置了这个vip，此时它会认为用户请求的就是它自己。
这个模式下的rs都会独立的公网IP来回复用户的请求，可以减少分发器的压力。

DR模式

这种模式，也需要有一个公共的IP配置在分发器和所有rs上，也就是vip
和IP Tunnel不同的是，它会把数据包的MAC地址修改为rs的MAC地址
rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己。
此模式下rs配置公网IP来返回用户请求。

总结

综上所述，nat模式就是做iptables路由转发 IP Tunnel模式实际上是更改目标IP DR模式是更改目标MAC地址

18.8 LVS调度算法

名称	缩写	含义
轮询 Round-Robin	rr	平均分发用户请求
加权轮询 Weight Round-Robin	wrr	带权重的轮询
最小连接 Least-Connection	lc	分发用户给连接数少的机器上
加权最小连接 Weight Least-Connection	wlc	带权重的最小连接
基于局部性的最小连接 Locality-Based Least Connections	lblc
带复制的基于局部性最小连接 Locality-Based Least Connections with Replication	lblcr
目标地址散列调度 Destination Hashing	dh
源地址散列调度 Source Hashing	sh

18.9/18.10 LVS NAT模式搭建

准备工作

准备三台机器一台作分发器，两台作rs
分发器：kun03 内网：192.168.80.102 外网：192.168.218.128
rs1：kun05 内网：192.168.80.104 网关：192.168.80.102
rs2：kun06 内网：192.168.80.105 网关：192.168.80.102

kun03上添加外网网卡选择仅主机模式

编辑外网网卡配置

[root@kun03 ~]# cd /etc/sysconfig/network-scripts/
[root@kun03 network-scripts]# cp ifcfg-ens33 ifcfg-ens37
[root@kun03 network-scripts]# vim !$
vim ifcfg-ens37

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens37
#UUID=75aabb45-9fbe-45d6-800e-fa2d04f72e13
DEVICE=ens37
ONBOOT=yes
IPADDR=192.168.218.128
#GATEWAY=192.168.80.2
NETMASK=255.255.255.0
DNS1=119.29.29.29

1
2
3

[root@kun03 network-scripts]# ifdown ens37 && ifup ens37
成功断开设备 'ens37'。
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/3）

可以ping通

kun05和kun06上设置网关为192.168.80.102

1
2
3

[root@kun05 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

GATEWAY=192.168.80.102

[root@kun05 ~]# systemctl restart network

[root@kun05 ~]# route -n   ##查看网关
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.80.102  0.0.0.0         UG    100    0        0 ens33
192.168.80.0    0.0.0.0         255.255.255.0   U     100    0        0 ens33

三台机器上关闭firewalld

[root@kun05 ~]# systemctl stop firewalld
[root@kun05 ~]# systemctl disable firewalld
[root@kun05 ~]# setenforce 0
[root@kun05 ~]# vim /etc/selinux/config

SELINUX=disbaled

各自下载iptables 并清空规则和保存

[root@kun03 network-scripts]# yum install -y iptables-services
[root@kun03 network-scripts]# systemctl start iptables    ##启动iptables
[root@kun03 network-scripts]# iptables -F   ##清空规则
[root@kun03 network-scripts]# service iptables save   ##保存空规则

步骤

1.在分发器上安装ipvsadm工具

在kun03上

1	[root@kun03 ~]# yum install -y ipvsadm

ipvsadm工具实现lvs功能

2.在分发器上编辑脚本

1	[root@kun03 ~]# vim /usr/local/sbin/lvs_nat.sh

#! /bin/bash
# director 服务器上开启路由转发功能
echo 1 > /proc/sys/net/ipv4/ip_forward
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
# 注意区分网卡名字，阿铭的两个网卡分别为ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.80.0/24  -j MASQUERADE
# director设置ipvsadm
IPVSADM='/usr/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.218.128:80 -s rr -p 3
$IPVSADM -a -t 192.168.218.128:80 -r 192.168.80.104:80 -m -w 1
$IPVSADM -a -t 192.168.218.128:80 -r 192.168.80.105:80 -m -w 1

iptables -t nat -A POSTROUTING -s 192.168.80.0/24 -j MASQUERADE让同网段的网实现上网
ipvsadm -C清除lvs规则
-A 增加规则
-t 指定分发器外网IP
-s 指定算法
-p 指定rs上的超时时间
-m 指NAT模式
-w 指定权重

3.执行脚本

1	[root@kun03 ~]# sh /usr/local/sbin/lvs_nat.sh

测试

两台rs上安装Nginx
之前在kun05机器上yum了安装过Nginx 现在在kun06上安装

1 2	[root@kun06 ~]# yum install -y epel-release [root@kun06 ~]# yum install -y nginx

设置两台rs的主页，做一个区分

1
2
3

[root@kun05 ~]# vim /usr/share/nginx/html/index.html

kun05

[root@kun06 ~]# > /usr/share/nginx/html/index.html
[root@kun06 ~]# vim !$

kun06

1	[root@kun06 ~]# service nginx start ##启动Nginx

在分发器上使用curl命令访问公网ip

[root@kun03 ~]# curl 192.168.218.128
kun06
[root@kun03 ~]# curl 192.168.218.128
kun05
[root@kun03 ~]# curl 192.168.218.128
kun06
[root@kun03 ~]# curl 192.168.218.128
kun05

使用浏览器访问

ipvsadm -ln 可以查看ipvsadm分发数据的情况

[root@kun03 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.218.128:80 rr
  -> 192.168.80.104:80            Masq    1      0          6         
  -> 192.168.80.105:80            Masq    1      1          4