haproxy搭建web集群

2023-11-12

目录

HAProxy

HAProxy的主要特性

HAProxy负载均衡调度策略

HAProxy的配置文件解读

HAProxy部署

1、安装环境

2、下载haproxy安装包,并安装

3、新建haproxy用户,并在/etc/下创建haproxy文件夹,及haproxy控制管理

4、在/etc/haproxy/创建haproxy.cfg配置文件

5、启动haproxy,使用客户机测试

HAProxy+keepalived实现高可用

主备keepalived部署

1、主:在/etc/haproxy/下编写脚本,实现haproxy的检查

2、在主备haproxy服务器上下载keepalived,并配置keepalived.conf文件

3、启动keepalived,并测试


HAProxy

HAProxy是可提供高可用性负载均衡以及基于TCP和HTTP应用的代理,是免费、快速并且可靠的一种解决方案。HAProxy非常适用于并发大(并发达1w以上)web站点,这些站点通常又需要会话保持或七层处理。HAProxy的运行模式使得它可以很简单安全的整合至当前的架构中,同时可以保护web服务器不被暴露到网络上。

HAProxy的主要特性

●可靠性和稳定性非常好,可以与硬件级的F5负载均衡设备相媲美;
●最高可以同时维护40000-50000个并发连接,单位时间内处理的最大请求数为20000个,最大处理能力可达10Git/s;
●支持多达8种负载均衡算法;
●支持Session会话保持,Cookie的引导;
●支持通过获取指定的url来检测后端服务器的状态;
●支持虚机主机功能,从而实现web负载均衡更加灵活;
●支持连接拒绝、全透明代理等独特的功能;
●拥有强大的ACL支持,用于访问控制;
●支持TCP和HTTP协议的负载均衡转发;
●支持客户端的keepalive功能,减少客户端与haproxy的多次三次握手导致资源浪费,让多个请求在一个tcp连接中完成。

HAProxy负载均衡调度策略

HAProxy负载均衡策略非常多,常见的有如下8种:
(1)roundrobin,表示简单的轮询
(2)static-rr,表示根据权重,加权轮询
(3)leastconn,表示最少连接者先处理,最少连接
(4)source,表示根据请求源IP,源地址哈希
(5)uri,表示根据请求的URI哈希,做cdn需使用;
(6)url_param,表示根据请求的URl参数哈希'balance url_param' requires an URL parameter name
(7)hdr(name),表示根据HTTP请求头来锁定每一次HTTP请求;
(8)rdp-cookie(name),表示根据cookie(name)来锁定并哈希每一次TCP请求,cookies键对值哈希

HAProxy的配置文件解读

HAProxy 的配置文件共有 5 个域:
global:用于配置全局参数
default:用于配置所有frontend和backend的默认属性
frontend:用于配置前端服务(即HAProxy自身提供的服务)实例
backend:用于配置后端服务(即HAProxy后面接的服务)实例组
listen:frontend + backend的组合配置,可以理解成更简洁的配置方法,frontend域和backend域中所有的配置都可以配置在listen域下

global		#全局配置,主要用于定义全局参数,属于进程级的配置,通常和操作系统配置有关
    #将info(及以上)的日志发送到rsyslog的local0接口,将warning(及以上)的日志发送到rsyslog的local1接口
    log 127.0.0.1 local0 info
    log 127.0.0.1 local1 warning	
	
    maxconn 30000			            #最大连接数,HAProxy 要求系统的 ulimit -n 参数大于 maxconn*2+18

    #chroot /var/lib/haproxy            #修改haproxy工作目录至指定目录,一般需将此行注释掉
    pidfile     /var/run/haproxy.pid    #指定保存HAProxy进程号的文件
    user haproxy            #以指定的用户名身份运行haproxy进程
    group haproxy           #以指定的组名运行haproxy,以免因权限问题带来风险
    daemon					#让haproxy以守护进程的方式工作于后台
    #nbproc 1				#指定启动的haproxy进程个数,只能用于守护进程模式的haproxy,默认只启动一个进程。haproxy是单进程、事件驱动模型的软件,单进程下工作效率已经非常好,不建议开启多进程
    spread-checks 2         #在haproxy后端有着众多服务器的场景中,在精确的时间间隔后统一对众服务器进行健康状况检查可能会带来意外问题;此选项用于将其检查的时间间隔长度上增加或减小一定的随机时长;默认为0,官方建议设置为2到5之间。

defaults   	#配置默认参数,这些参数可以被用到listen,frontend,backend组件     
    log     global			#所有前端都默认使用global中的日志配置
    mode    http			#模式为http(7层代理http,4层代理tcp)
    option  http-keep-alive #使用keepAlive连接,后端为静态建议使用http-keep-alive,后端为动态应用程序建议使用http-server-close
    option  forwardfor      #记录客户端IP在X-Forwarded-For头域中,haproxy将在发往后端的请求中加上"X-Forwarded-For"首部字段
    option  httplog			#开启httplog,在日志中记录http请求、session信息等。http模式时开启httplog,tcp模式时开启tcplog
    option  dontlognull		#不在日志中记录空连接
    option  redispatch		#当某后端down掉使得haproxy无法转发携带cookie的请求到该后端时,将其转发到别的后端上
    option  abortonclose    #当服务器负载很高的时候,自动结束掉当前队列处理比较久的链接
    maxconn 20000			#最大连接数,“defaults”中的值不能超过“global”段中的定义
    retries 3               #定义连接后端服务器的失败重连次数,连接失败次数超过此值后会将对应后端服务器标记为不可用
    #contimeout 5000        #设置连接超时时间,默认单位是毫秒
    #clitimeout 50000       #设置客户端超时时间,默认单位是毫秒
    #srvtimeout 50000       #设置服务器超时时间,默认单位是毫秒
    timeout http-request 2s 	#默认http请求超时时间,此为等待客户端发送完整请求的最大时长,用于避免类DoS攻击。haproxy总是要求一次请求或响应全部发送完成后才会处理、转发
    timeout queue 3s   	    #默认客户端请求在队列中的最大时长
    timeout connect 1s		#默认haproxy和服务端建立连接的最大时长,新版本中替代contimeout,该参数向后兼容
    timeout client 10s		#默认和客户端保持空闲连接的超时时长,在高并发下可稍微短一点,可设置为10秒以尽快释放连接,新版本中替代clitimeout
    timeout server 2s		#默认和服务端保持空闲连接的超时时长,局域网内建立连接很快,所以尽量设置短一些,特别是高并发时,新版本中替代srvtimeout
    timeout http-keep-alive 10s		#默认和客户端保持长连接的最大时长。优先级高于timeout http-request 也高于timeout client
    timeout check 2s		#和后端服务器成功建立连接后到最终完成检查的最大时长(不包括建立连接的时间,只是读取到检查结果的时长)

frontend http-in    #定义前端域
    bind *:80                        #设置监听地址和端口,指定为*或0.0.0.0时,将监听当前系统的所有IPv4地址
    maxconn 18000                    #定义此端口上的maxconn
	
    acl url_static1   path_beg  -i /static /images                          #定义ACL,当uri以定义的路径开头时,ACL[url_static1]为true
    acl url_static2   path_end  -i .jpg .jpeg .gif .png .html .htm .txt     #定义ACL,当uri以定义的路径结尾时,ACL[url_static2]为true

    use_backend ms1 if url_static1       #当[url_static1]为true时,定向到后端域ms1中
    use_backend ms2 if url_static2       #当[url_static2]为true时,定向到后端域ms2中
    default_backend dynamic_group        #其他情况时,定向到后端域dynamic_group中

backend ms1    #定义后端域ms1
    balance            roundrobin        #使用轮询算法
    option httpchk     GET /test.html   #表示基于http协议来做健康状况检查,只有返回状态码为2xx或3xx的才认为是健康的,其余所有状态码都认为不健康。不设置该选项时,默认采用tcp做健康检查,只要能建立tcp就表示健康。
    server ms1.inst1 192.168.80.100:80 maxconn 5000 check inter 2000 rise 2 fall 3
    server ms1.inst2 192.168.80.100:81 maxconn 5000 check        #同上,inter 2000 rise 2 fall 3是默认值,可以省略

listen stats    #定义监控页面
    bind *:1080                   #绑定端口1080
    stats enable                  #启用统计报告监控
    stats refresh 30s             #每30秒更新监控数据
    stats uri /stats              #访问监控页面的uri
    stats realm HAProxy\ Stats    #监控页面的认证提示
    stats auth admin:admin        #监控页面的用户名和密码

HAProxy部署

haproxy服务器:192.168.3.104

web服务器1:192.168.3.101

web服务器2:192.168.3.102

NFS服务器:192.168.3.103

客户端:192.168.3.1

1、安装环境

yum install  -y zlib-devel.i686 pcre-devel.i686 openssl-devel.i686 systemd-devel.i686

2、下载haproxy安装包,并安装

导入haproxy安装包

tar  xf  haproxy-2.8.3.tar.gz        #解压

cd haproxy-2.8.3/        #切到解压的安装包中

make PREFIX=/apps/haproxy ARCH=x86_64 TARGET=linux_glibc USER_PCRE=1 USER_OPENSSL=1 USER_ZLIB=1 USER_SYSTEMD=1        #编译

make install PREFIX=/apps/haproxy        #安装


3、新建haproxy用户,并在/etc/下创建haproxy文件夹,及haproxy控制管理

useradd -M -s /sbin/nologin haproxy        #新建用户

mkdir /etc/haproxy        #创建haproxy文件

cd  /opt/haproxy-2.8.3/examples/        #切换到安装包中
cp haproxy.init /etc/init.d/haproxy        #将启动脚本拷贝到/etc/init.d/并改名为haproxy
cd /etc/init.d/        #切换到/etc/init.d/文件下

vim haproxy        #修改haproxy控制脚本

----26行,给变量加双引号
[ "${NETWORKING}" = "no" ] && exit 0


ln -s /apps/haproxy/sbin/haproxy /usr/sbin/        #将haproxy做软连接到/usr/sbin/中
chmod +x haproxy        #给启动脚本赋予执行权限

4、在/etc/haproxy/创建haproxy.cfg配置文件

vim  /etc/haproxy/haproxy.cfg   

global		#全局配置,主要用于定义全局参数,属于进程级的配置,通常和操作系统配置有关
    #将info(及以上)的日志发送到rsyslog的local0接口,将warning(及以上)的日志发送到rsyslog的local1接口
    log 127.0.0.1 local0 info
    log 127.0.0.1 local1 warning	
	
    maxconn 30000			            #最大连接数,HAProxy 要求系统的 ulimit -n 参数大于 maxconn*2+18

    #chroot /var/lib/haproxy            #修改haproxy工作目录至指定目录,一般需将此行注释掉
    pidfile     /var/run/haproxy.pid    #指定保存HAProxy进程号的文件
    user haproxy            #以指定的用户名身份运行haproxy进程
    group haproxy           #以指定的组名运行haproxy,以免因权限问题带来风险
    daemon					#让haproxy以守护进程的方式工作于后台
    #nbproc 1				#指定启动的haproxy进程个数,只能用于守护进程模式的haproxy,默认只启动一个进程。haproxy是单进程、事件驱动模型的软件,单进程下工作效率已经非常好,不建议开启多进程
    spread-checks 2         #在haproxy后端有着众多服务器的场景中,在精确的时间间隔后统一对众服务器进行健康状况检查可能会带来意外问题;此选项用于将其检查的时间间隔长度上增加或减小一定的随机时长;默认为0,官方建议设置为2到5之间。

defaults   	#配置默认参数,这些参数可以被用到listen,frontend,backend组件     
    log     global			#所有前端都默认使用global中的日志配置
    mode    http			#模式为http(7层代理http,4层代理tcp)
    option  http-keep-alive #使用keepAlive连接,后端为静态建议使用http-keep-alive,后端为动态应用程序建议使用http-server-close
    option  forwardfor      #记录客户端IP在X-Forwarded-For头域中,haproxy将在发往后端的请求中加上"X-Forwarded-For"首部字段
    option  httplog			#开启httplog,在日志中记录http请求、session信息等。http模式时开启httplog,tcp模式时开启tcplog
    option  dontlognull		#不在日志中记录空连接
    option  redispatch		#当某后端down掉使得haproxy无法转发携带cookie的请求到该后端时,将其转发到别的后端上
    option  abortonclose    #当服务器负载很高的时候,自动结束掉当前队列处理比较久的链接
    maxconn 20000			#最大连接数,“defaults”中的值不能超过“global”段中的定义
    retries 3               #定义连接后端服务器的失败重连次数,连接失败次数超过此值后会将对应后端服务器标记为不可用
    #contimeout 5000        #设置连接超时时间,默认单位是毫秒
    #clitimeout 50000       #设置客户端超时时间,默认单位是毫秒
    #srvtimeout 50000       #设置服务器超时时间,默认单位是毫秒
    timeout http-request 2s 	#默认http请求超时时间,此为等待客户端发送完整请求的最大时长,用于避免类DoS攻击。haproxy总是要求一次请求或响应全部发送完成后才会处理、转发
    timeout queue 3s   	    #默认客户端请求在队列中的最大时长
    timeout connect 1s		#默认haproxy和服务端建立连接的最大时长,新版本中替代contimeout,该参数向后兼容
    timeout client 10s		#默认和客户端保持空闲连接的超时时长,在高并发下可稍微短一点,可设置为10秒以尽快释放连接,新版本中替代clitimeout
    timeout server 2s		#默认和服务端保持空闲连接的超时时长,局域网内建立连接很快,所以尽量设置短一些,特别是高并发时,新版本中替代srvtimeout
    timeout http-keep-alive 10s		#默认和客户端保持长连接的最大时长。优先级高于timeout http-request 也高于timeout client
    timeout check 2s		#和后端服务器成功建立连接后到最终完成检查的最大时长(不包括建立连接的时间,只是读取到检查结果的时长)

frontend http-in
bind *:80
default_backend nginx_server

backend nginx_server
balance   roundrobin
option httpchk GET /index.html
server ngx01 192.168.3.101:80 check inter 2000 fall 3 rise 2
server ngx02 192.168.3.102:80 check inter 2000 fall 3 rise 2

listen stats
bind *:1080
stats enable
stats refresh 30s
stats uri /stats
stats realm HAProxy\ Stats

5、启动haproxy,使用客户机测试

service haproxy start            #开启haproxy

在浏览器中访问haproxy服务器的地址192.168.3.104

HAProxy+keepalived实现高可用

基于HAProxy部署添加keepalived服务并添加一台服务器做备HAProxy负载

添加的备HAProxy负载:192.168.3.106

备HAProxy负载部署,与主HAProxy负载部署一样,参照上方步骤

主备keepalived部署

1、主:在/etc/haproxy/下编写脚本,实现haproxy的检查

cd  /etc/haproxy/        #切换到/etc/haproxy/

vim check_haproxy.sh        #编写haproxy的检查脚本

#!/bin/bash
if ! killall -0 haproxy &> /dev/null
then
     systemctl stop keepalived
fi

 

2、在主备haproxy服务器上下载keepalived,并配置keepalived.conf文件

yum install -y keepalived.x86_64        #下载keepalived

vim /etc/keepalived/keepalived.conf        #修改keepalived.conf配置文件

vrrp_script check_nginx {        #添加此语句段
   script "/etc/keepalived/check_nginx.sh"
   interval 2
   weight 2

}

virtual_ipaddress {
        192.168.3.254        #添加虚拟VIP
    }

   track_script {
      check_nginx        #执行上述脚本
   }

3、启动keepalived,并测试

在主haproxy中使用 ip a 命令可以看到VIP

在备haproxy中使用 ip a 命令看不到VIP

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

haproxy搭建web集群 的相关文章

  • 【计算机毕业设计】基于web的山东红色旅游信息管理系统

    有效的处理想要的相关信息和如何传播有效的信息 一直是人类不断探索的动力 人类文明火种的传承都是通过了多种媒介作为载体 也是随着社会生产力的发展不断的更新 随着互联网的到来 信息传播与管理都上升了一个新的台阶 并且方便应用的同时也要考虑信息传
  • 【计算机毕业设计】校园体育赛事管理系统

    身处网络时代 随着网络系统体系发展的不断成熟和完善 人们的生活也随之发生了很大的变化 人们在追求较高物质生活的同时 也在想着如何使自身的精神内涵得到提升 而读书就是人们获得精神享受非常重要的途径 为了满足人们随时随地只要有网络就可以看书的要
  • Web 安全漏洞之 OS 命令注入

    什么是 OS 命令注入 上周我们分享了一篇 Web 安全漏洞之 SQL 注入 其原理简单来说就是因为 SQL 是一种结构化字符串语言 攻击者利用可以随意构造语句的漏洞构造了开发者意料之外的语句 而今天要讲的 OS 命令注入其实原理和 SQL
  • 线程安全(中)--彻底搞懂synchronized(从偏向锁到重量级锁)

    接触过线程安全的同学想必都使用过synchronized这个关键字 在java同步代码快中 synchronized的使用方式无非有两个 通过对一个对象进行加锁来实现同步 如下面代码 synchronized lockObject 代码 对
  • Python爬虫实战:IP代理池助你突破限制,高效采集数据

    当今互联网环境中 为了应对反爬虫 匿名访问或绕过某些地域限制等需求 IP代理池成为了一种常用的解决方案 IP代理池是一个包含多个可用代理IP地址的集合 可以通过该代理池随机选择可用IP地址来进行网络请求 IP代理池是一组可用的代理IP地址
  • 【信道估计】【MIMO】【FBMC】未来移动通信的滤波器组多载波调制方案(Matlab代码实现)

    欢迎来到本博客 博主优势 博客内容尽量做到思维缜密 逻辑清晰 为了方便读者 座右铭 行百里者 半于九十 本文目录如下 目录 1 概述 2 运行结果 3 参考文献 4 Matlab代码及文章
  • 基于java的物业管理系统设计与实现

    基于java的物业管理系统设计与实现 I 引言 A 研究背景和动机 物业管理系统是指对物业进行管理和服务的系统 该系统需要具备对物业信息 人员信息 财务信息等进行管理的能力 基于Java的物业管理系统设计与实现的研究背景和动机主要体现在以下
  • 【计算机毕业设计】趵突泉景区的智慧导游小程序_5ztvv

    当今社会已经步入了科学技术进步和经济社会快速发展的新时期 国际信息和学术交流也不断加强 计算机技术对经济社会发展和人民生活改善的影响也日益突出 人类的生存和思考方式也产生了变化 传统趵突泉景区的智慧导游采取了人工的管理方法 但这种管理方法存
  • 【计算机毕业设计】白优校园社团网站的设计与实现

    近些年 随着中国经济发展 人民的生活质量逐渐提高 对网络的依赖性越来越高 通过网络处理的事务越来越多 随着白优校园社团网站的常态化 如果依然采用传统的管理方式 将会为工作人员带来庞大的工作量 这将是一个巨大考验 需要投入大量人力开展对社团
  • 网络安全基础知识面试题库

    1 基于路由器的攻击手段 1 1 源IP地址欺骗式攻击 入侵者从外部传输一个伪装成来自内部主机的数据包 数据包的IP是 内网的合法IP 对策 丢弃所有来自路由器外端口 却使用内部源地址的数据包 1 2 源路由攻击 入侵者让数据包循着一个不可
  • Oracle EBS AP发票导入 API Rejection List 第二部分

    Oracle EBS AP发票导入 API Rejection List 第二部分 The report lists the reason the invoice could not be imported and prints a bri
  • 做测试不会 SQL?超详细的 SQL 查询语法教程来啦!

    前言 作为一名测试工程师 工作中在对测试结果进行数据比对的时候 或多或少要和数据库打交道的 要和数据库打交道 那么一些常用的sql查询语法必须要掌握 最近有部分做测试小伙伴表示sql查询不太会 问我有没有sql查询语法这一块的文档可以学习
  • Mysql中设置只允许指定ip能连接访问(可视化工具的方式)

    场景 Mysql中怎样设置指定ip远程访问连接 Mysql中怎样设置指定ip远程访问连接 navicat for mysql 设置只有某个ip可以远程链接 CSDN博客 前面设置root账户指定ip能连接访问是通过命令行的方式 如果通过可视
  • 短信系统搭建主要因素|网页短信平台开发源码

    短信系统搭建主要因素 网页短信平台开发源码 随着移动互联网的快速发展 短信系统已成为企业和个人进行信息传递的重要工具 建立一个高效可靠的短信系统对于企业来说非常重要 下面我们将介绍一些影响短信系统搭建的主要因素 1 平台选择 在搭建短信系统
  • 温室气体排放更敏感的模型(即更高的平衡气候敏感性(ECS))在数年到数十年时间尺度上也具有更高的温度变化(Python代码实现)

    欢迎来到本博客 博主优势 博客内容尽量做到思维缜密 逻辑清晰 为了方便读者 座右铭 行百里者 半于九十 本文目录如下 目录 1 概述 2 运行结果 3 参考文献 4 Python代码 数据
  • 高防服务器什么意思

    高防服务器什么意思 为什么要用高防服务器 小编为您整理发布高防服务器什么意思的解读 高防服务器是指具备较高防御能力的服务器 能够抵御DDoS CC等网络攻击 高防服务器通常用于保护游戏 APP 金融 电商等业务 这些领域因为其业务特性 容易
  • 【安全】简单解析统一身份认证:介绍、原理和实现方法

    深入解析统一身份认证 介绍 原理和实现方法 导语 统一身份认证是什么 统一身份认证的原理 统一身份认证的实现 结语 导语 随着互联网的发展和各种在线服务的普及 用户在不同的应用和平台上需要进行多次身份验证 为了简化用户的登录和减少重复操作
  • Python 使用 NoSQL 数据库的优选方案

    NoSQL 数据库因其高性能 可扩展性和灵活性而风靡一时 然而 对于 Python 程序员而言 选择合适的 NoSQL 数据库可能会令人困惑 因为有多种选择可供选择 那么 哪种 NoSQL 数据库最适合 Python 呢 2 解决方案 根据
  • 网工内推 | 上市公司同程、科达,五险一金,年终奖,最高12k*15薪

    01 同程旅行 招聘岗位 网络工程师 职责描述 1 负责职场 门店网络规划 建设 维护 2 负责网络安全及访问控制 上网行为管理和VPN设备的日常运维 3 负责内部相关网络自动化和系统化建设 4 优化与提升网络运行质量 制定应急预案 人员培
  • 【安全】网络安全态势感知

    文章目录 一 态势感知简介 1 概念 2 形象举例 3 应具备的能力 二 为什么要态势感知 为什么网络安全态势感知很重要 三 态势感知系统的功能 四 如何评估态势感知的建设结果 五 什么是态势感知的三个层级 四 业界的态势感知产品 1 安全

随机推荐