域名到站点的负载均衡技术一览

2023-10-27

一、问题域

nginx、lvs、keepalived、f5、DNS轮询,往往讨论的是接入层的这样几个问题:

1)可用性:任何一台机器挂了,服务受不受影响

2)扩展性:能否通过增加机器,扩充系统的性能

3)反向代理+负载均衡:请求是否均匀分摊到后端的操作单元执行

二、上面那些名词都是什么概念

1)nginx:一个高性能的web-server和实施反向代理的软件

2)lvs:Linux Virtual Server,使用集群技术,实现在linux操作系统层面的一个高性能、高可用、负载均衡服务器

3)keepalived:一款用来检测服务状态存活性的软件,常用来做高可用

4)f5:一个高性能、高可用、负载均衡的硬件设备

5)DNS轮询:通过在DNS-server上对一个域名设置多个ip解析,来扩充web-server性能及实施负载均衡的技术 

三、接入层技术演进

【裸奔时代单机架构】

裸奔时代的架构图如上:

1)浏览器通过DNS-server,域名解析到ip

2)浏览器通过ip访问web-server

缺点

1)非高可用,web-server挂了整个系统就挂了

2)扩展性差,当吞吐量达到web-server上限时,无法扩容

注:单机不涉及负载均衡的问题 

【DNS轮询】

假设tomcat的吞吐量是1000次每秒,当系统总吞吐量达到3000时,如何扩容是首先要解决的问题,DNS轮询是一个很容易想到的方案:


此时的架构图如上:

1)多部署几份web-server,1个tomcat抗1000,部署3个tomcat就能抗3000

2)在DNS-server层面,域名每次解析到不同的ip

优点

1)零成本:在DNS-server上多配几个ip即可,功能也不收费

2)部署简单:多部署几个web-server即可,原系统架构不需要做任何改造

3)负载均衡:变成了多机,但负载基本是均衡的

缺点

1)非高可用:DNS-server只负责域名解析ip,这个ip对应的服务是否可用,DNS-server是不保证的,假设有一个web-server挂了,部分服务会受到影响

2)扩容非实时:DNS解析有一个生效周期

3)暴露了太多的外网ip

【nginx】

tomcat的性能较差,但nginx作为反向代理的性能就强多了,假设线上跑到1w,就比tomcat高了10倍,可以利用这个特性来做扩容:


此时的架构图如上:

1)站点层与浏览器层之间加入了一个反向代理层,利用高性能的nginx来做反向代理

2)nginx将http请求分发给后端多个web-server

优点

1)DNS-server不需要动

2)负载均衡:通过nginx来保证

3)只暴露一个外网ip,nginx->tomcat之间使用内网访问

4)扩容实时:nginx内部可控,随时增加web-server随时实时扩容

5)能够保证站点层的可用性:任何一台tomcat挂了,nginx可以将流量迁移到其他tomcat

缺点

1)时延增加+架构更复杂了:中间多加了一个反向代理层

2)反向代理层成了单点,非高可用 

【高可用方案keepalived】

为了解决高可用的问题,keepalived出场了:

此时:

1)做两台nginx组成一个集群,分别部署上keepalived,设置成相同的虚IP,保证nginx的高可用

2)当一台nginx挂了,keepalived能够探测到,并将流量自动迁移到另一台nginx上,整个过程对调用方透明。


优点

1)解决了高可用的问题

缺点

1)资源利用率只有50%

2)nginx仍然是接入单点,如果接入吞吐量超过的nginx的性能上限怎么办,例如qps达到了50000呢?

【垂直扩容方案 lvs/f5】

nginx毕竟是软件,性能比tomcat好,但总有个上限,超出了上限,还是扛不住。

lvs就不一样了,它实施在操作系统层面;f5的性能又更好了,它实施在硬件层面;它们性能比nginx好很多,例如每秒可以抗10w,这样可以利用他们来扩容,常见的架构图如下:

此时:

1)如果通过nginx可以扩展多个tomcat一样,可以通过lvs来扩展多个nginx

2)通过keepalived+VIP的方案可以保证可用性

多数的公司到这一步基本就能解决接入层高可用、扩展性、负载均衡的问题。

好吧,不管是使用lvs还是f5,这些都是scale up(垂直扩展)的方案,根本上,lvs/f5还是会有性能上限,假设每秒能处理10w的请求,一天也只能处理80亿的请求(10w秒吞吐量*8w秒),那万一系统的日PV超过80亿怎么办呢?

【水平扩容方案DNS轮询】

水平扩展,才是解决性能问题的根本方案,能够通过加机器扩充性能的方案才具备最好的扩展性。

facebook,google,baidu的PV是不是超过80亿呢,它们的域名只对应一个ip么,还是得通过DNS轮询来进行扩容

此时:

1)通过DNS轮询来线性扩展入口lvs层的性能

2)通过keepalived来保证高可用

3)通过lvs来扩展多个nginx

4)通过nginx来做负载均衡,业务七层路由

四、总结

稍微做一个简要的总结:

1)接入层架构要考虑的问题域为:高可用、扩展性、反向代理+扩展均衡

2)nginx、keepalived、lvs、f5可以很好的解决高可用、扩展性、反向代理+扩展均衡的问题

3)水平扩展scale out是解决扩展性问题的根本方案,DNS轮询是不能完全被nginx/lvs/f5所替代的

 

 

 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

域名到站点的负载均衡技术一览 的相关文章

  • hive详解(函数)

    hive函数分为内置函数和自定义函数 内置函数 show functions 查看函数 desc function 查看用法 排名函数 3种 row number 没有并列 相同名次按顺序排 同分不同名 rank 有并列 相同名次空位 de
  • Blas xGEMMBatched launch failed的出现原因

    如果你的cudatoolkit是9 x版本的 在执行两个很大的batch做matmal的时候 可能会报一个很奇怪的错误 但是实际上你的显存是够的 为什么会报这样的错误呢 这个问题困扰了我好几天 从网上查阅了很多资料 才发现是cublas的内

随机推荐

  • SqlHelper

    import pymysql pymysql install as MySQLdb 默认连接MySQL的方式 class SqlHelper def init self account password ip port db self ac
  • 【IDEA常用快捷键】

    提示 文章写完后 目录可以自动生成 如何生成可参考右边的帮助文档 文章目录 前言 一 Goland快捷键 前言 提示 快捷键可以提升熟练我们工作的效率 掌握快捷键势在必行 提示 以下是本篇文章正文内容 下面案例可供参考 一 Goland快捷
  • 网上挣钱方法有哪些?这6个方法是目前最稳的!

    君子爱财 取之有道 随着互联网的发展 网络上的赚钱项目也是越来越多 具体要选择哪一种呢 很多人都幻想着一夜暴富 但是真正一夜暴富的方法都写在了法律里面 并不是一下子就能赚到钱的 这是非常不切实际的想法 今天小编就跟大家分享几种比较赚钱的网络
  • IDEA查看项目依赖插件

    IDEA查看项目依赖插件 搜索不到 HTTP Proxy 代理 重启IDEA 在Plugin中搜索Maven Helper Install 如果再搜索不到可以去官网下载查卷 然后再导入 版本要对应IDEA的版本 安装完成以后重启IDEA 打
  • Python爬取天气数据及可视化分析

    Python爬取天气数据及可视化分析 文章目录 Python爬取天气数据及可视化分析 说在前面 1 数据获取 请求网站链接 提取有用信息 保存csv文件 2 可视化分析 当天温度变化曲线图 当天相对湿度变化曲线图 温湿度相关性分析图 空气质
  • 划分数组

    快排的parition划分 class Solution param nums The integer array you should partition param k An integer return The index after
  • ABAP 关于BAPI的EXTENSIONIN 一点解释

    其实EXTENSIONIN 相当于BAPI的一种增强 可以这样理解 要传一下BAPI本身没有的数据 比如 自己增加的 或者是关联过来的数据 BAPI没有给提供这样的字段 那么就要自己去找了 首先要找到增强的结构 比如 BAPI REQUIS
  • 升级Flutter 3.13.x 之后出现watcher-1.0.2报错

    Failed to build intl utils generate pub cache hosted pub flutter io cn watcher 1 0 2 lib src constructable file system e
  • mesa编译

    0 准备工作 sudo apt get install git autoconf libtool dpkg dev quilt debhelper 1 libdrm编译 下载 git clone http anongit freedeskt
  • 彻聊DNS

    先得聊聊什么是域名 域名是什么 我会连域名都不知道 别着急 先看看嘛 我们以www fanyi baidu com为例 域名结构划分为根域名 顶级域名 二级域名 三级域名等 做过开发的都知道 在创建项目时 一般是com xxx xxx 这就
  • 【毕业设计】大数据用户画像数据分析系统 - python

    文章目录 1 前言 2 用户画像分析概述 2 1 用户画像构建的相关技术 2 2 标签体系 2 3 标签优先级 3 实站 百货商场用户画像描述与价值分析 3 1 数据格式 3 2 数据预处理 3 3 会员年龄构成 3 4 订单占比 消费画像
  • 设计模式之单例模式(通俗易懂,超详细)

    1 什么是单例模式 单例模式 属于创建类型的一种常用的软件设计模式 通过单例模式的方法创建的类在当前进程中只有一个实例 根据需要 也有可能一个线程中属于单例 如 仅线程上下文内使用同一个实例 百度百科 简单来说单例模式就是指在内存中只会创建
  • 简单几个配置 Go 实现敏感数据脱敏,可以自定义数据脱敏规则(附完整实现源码)

    简单几个配置 Go 实现敏感数据脱敏 可以自定义数据脱敏规则 附完整实现源码 介绍 为了保障企业的数据安全和隐私安全 godlp 提供了一系列针对敏感数据的识别和处置方案 其中包含敏感数据识别算法 数据脱敏处理方式 业务自定义的配置选项和海
  • c当中宏理解

    宏 Macro 是预处理命令的一种 它允许用一个标识符来表示一个字符串 include
  • STM32F429配置MircoPython的SDRAM参数

    本例使用的开发板是正点原子STM32F429 一 修改mpconfigboard h文件 具体配置如下 SDRAM define MICROPY HW SDRAM SIZE 32 1024 1024 32M Bytes define MIC
  • 拉格朗日对偶

    https www cnblogs com ooon p 5723725 html
  • Ngrok 服务搭建

    一 前言 ngrok 是一个反向代理 通过在公共的端点和本地运行的 Web 服务器之间建立一个安全的通道 ngrok 可捕获和分析所有通道上的流量 便于后期分析和重放 ngrok一条命令可以解决外网访问内网问题 本地WEB外网访问 本地开发
  • Nginx的安装(Ubuntu)以及常用简介

    目录 Nginx安装 安装前提 源码下载 Nginx安装方式 简单说明nginx目录下的内容 Nginx编译和安装 启动 Nginx安装 安装前提 gcc pcre库 函数库 支持解析正则表达式 apt get install libpcr
  • 快速学习Stm32舵机控制板控制一个舵机运动

    PWM是什么 PWM 英文名Pulse Width Modulation 是脉冲宽度调制缩写 它是通过对一系列脉冲的宽度进行调制 等效出所需要的波形 包含形状以及幅值 对模拟信号电平进行数字编码 也就是说通过调节占空比的变化来调节信号 能量
  • 域名到站点的负载均衡技术一览

    一 问题域 nginx lvs keepalived f5 DNS轮询 往往讨论的是接入层的这样几个问题 1 可用性 任何一台机器挂了 服务受不受影响 2 扩展性 能否通过增加机器 扩充系统的性能 3 反向代理 负载均衡 请求是否均匀分摊到