Reactor模型

2023-05-16

前言

首先让我们来回顾一下select、poll和epoll是如何获取网络事件的:


在获取事件时,先把我们要关心的连接传给内核,再由内核检测:

  1. 若没有事件发生,线程只需阻塞在这个系统调用,而无需使用类似于线程池轮询调用read操作来判断是否有数据;
  2. 如果有事件发生,内核会返回产生了事件的连接,线程就会从阻塞状态返回,然后在内核态中再处理这些连接处理这些对应的业务即可。

我们也发觉,当下网络高性能的一个主要原因就是:IO多路复用的使用,但是使用过IO多路复用接口编写网络程序的人都会觉得这种开发的效率属实不高,并且还需要关注很多的细节。

于是,基于面向对象的思想,巨佬们就对IO复用接口进行了封装,让使用者不用考虑底层API的细节,只需要关注应用代码的编写。

下面我们步入正题:

  • Reactor 和 Proactor 都是高性能网络模式

我们一一来介绍

Reactor模式

  • 无论是C++还是Java编写的网络框架,大多数都是基于Reactor模型进行设计和开发,Reactor模式是基于事件驱动,特别适合处理海量的IO事件。Reactor模式,市面上常见的开源软件很多都采用了这个方案,比如 Redis、Nginx、Netty等等,所以学好这个模式设计的思想,有助于我们理解很多开源软件。

  • Reaactor的英译即【反应堆】—— 这里主要是指对事件作出响应。

  • 事实上,Reactor 模式也叫 Dispatcher 模式,我觉得这个名字更贴合该模式的含义,即IO多路复用监听事件,收到事件后,根据事件类型分配(Dispatch)给某个进程 / 线程。

三种角色

  1. Reactor:负责监听分配事件,将IO事件分派给对应的Handler。【新的事件包含连接建立就绪、读就绪、写就绪等】
  2. Acceptor处理客户端的连接,并分配请求到处理器链中。
  3. Handler将自身与事件绑定,执行非阻塞读、写任务,完成channel的读入,完成处理业务逻辑后,负责将结果写出channel,可用资源池来管理。

一般来说,C 语言实现的是「单 Reactor 单进程」的方案,因为 C 语编写完的程序,运行后就是一个独立的进程,不需要在进程中再创建线程。

而 Java 语言实现的是「单 Reactor 单线程」的方案,因为 Java 程序是跑在 Java 虚拟机这个进程上面的,虚拟机中有很多线程,我们写的 Java 程序只是其中的一个线程而已。

请添加图片描述

单Reactor单线程模型

Reactor线程负责多路分离套接字,accept新链接,并分派请求到Handler。
在这里插入图片描述
消息处理流程:

  1. Reactor 对象通过 select (IO 多路复用接口) 监听事件,收到事件后通过 dispatch 进行分发,具体分发给 Acceptor 对象还是 Handler 对象,还要看收到的事件类型;
  2. 如果是连接建立的事件,则由acceptor接受连接,Acceptor 对象会通过 accept 方法 获取连接,并创建Handler来处理后续事件。
  3. 如果不是建立连接事件,则Reactor会分发调用Handler来响应。
  4. Handler会完成read——>业务处理——>send的完整业务流程。(这里注意和后面多线程的区别)

单Reactor单线程模型只是在代码上进行了组件的区分,但是整体操作还是单线程,不能充分利用硬件资源Handler业务处理部分时整个进程是无法处理其他连接的事件的,如果业务处理耗时比较长,那么就造成响应的延迟;

  • 所以,单 Reactor 单进程的方案不适用计算机密集型的场景,适用于业务处理非常快速的场景(小容量应用场景)不适合高负载,大并发的应用场景

原因如下:


  1. 即使Reactor线程的CPU负荷达到100%,也无法满足海量数据的编码,解码,读取和发送。
  2. Reactor线程负载过重后,处理速度会变慢,这会导致大量客户端连接超时,超时之后往往会进行重发,更加加重Reactor的负载,最终会导致大量消息积压和处理超时,成为系统性能瓶颈
  3. 一旦Reactor线程意外中断或者进入死循环,会导致整个系统的通信模块不可用,不能接受和处理外部消息,造成结点故障。

Redis 是由 C 语言实现的,它采用的正是「单 Reactor 单进程」的方案,因为 Redis 业务处理主要是在内存中完成,操作的速度是很快的,性能瓶颈不在 CPU 上,所以 Redis 对于命令的处理是单进程的方案

为了解决这些问题:演化出单Reactor的多线程模型

单Reactor的多线程模型

该模型在事件处理器(Handler)部分采用了多线程(线程池)
请添加图片描述
消息处理流程:

  1. Reactor对象通过select监控客户端请求事件,收到事件后通过dispatch进行分发。
  2. 如果是连接建立的事件,则由acceptor接受连接,Acceptor 对象会通过 accept 方法 获取连接,并创建Handler来处理后续事件。
  3. 如果不是建立连接事件,则Reactor会分发调用Handler来响应。

下面就和单线程有所不同了:

  1. Handler只负责响应事件,不做业务处理,通过read读取事件后,会分发给后面的线程池中的Processor来进行业务处理
  2. 子线程里的 Processor 对象就进行业务处理,处理完后,将结果发给主线程中的 Handler 对象,接着由 Handler 通过 send 方法将响应结果发送给 client
比较

相对于第一种单Reactor的单线程模型,在处理业务逻辑时(也就是获取到IO的读写事件之后),交由线程池来处理,Handler收到响应之后通过send将响应结果返回给客户端,这样可以降低Reactor的性能开销,从而更专注的做事件分发工作——>提高整个应用的吞吐

但是,这个模型仍然存在以下的问题:


  1. 多线程数据共享和访问比较复杂,如果子线程完成业务处理后,把结果传递给主线程Reactor进行发送,就会涉及共享数据的互斥和保护机制
  2. Reactor承担所有事件的监听和响应,只在主线程中运行,可能会存在性能问题,例如并发百万客户端连接,或者服务端需要对客户端握手进行安全认证,但是认证本身非常损耗性能。

为了解决性能问题,产生了第三种主从Reactor多线程模型

主从Reactor多线程模型

比起第二种模型,它将Reactor分成两部分:
请添加图片描述

其中:

  1. 主线程中的 MainReactor 对象通过 select 监控连接建立事件,收到事件后通过 Acceptor 对象中的 accept获取连接,将新的连接分配给某个子线程;
  2. 子线程中的 SubReactor 对象将 MainReactor 对象分配的连接加入 select 继续进行监听,并创建一个 Handler 用于处理连接的响应事件。
  3. 如果有新的事件发生时,SubReactor 对象会调用当前连接对应的 Handler 对象来进行响应。
  4. Handler 对象通过 read -> 业务处理 -> send 的流程来完成完整的业务流程。

多 Reactor 多线程的方案虽然看起来复杂的,但是实际实现时比单 Reactor 多线程的方案要简单的多,原因如下:

  • 主线程和子线程分工明确,主线程只负责接收新连接,子线程负责完成后续的业务处理。
  • 主线程和子线程的交互很简单,主线程只需要把新连接传给子线程,子线程无须返回数据,直接就可以在子线程将处理结果发送给客户端

大名鼎鼎的两个开源软件 Netty 和 Memcache 都采用了「多 Reactor 多线程」的方案。

总结

Reactor模型具有以下的优点:

  1. 响应快,不必为单个同步时间所阻塞,因为Reactor本来就是同步的;
  2. 编程相对简单,可以最大程度的避免复杂的多线程及同步问题,并且避免了多线程/多进程的切换开销;
  3. 可扩展性,可以方便地通过Reactor实例个数来充分利用CPU资源;
  4. 可复用性:Reactor模型本身与具体时间处理逻辑无关,具有很高的复用性。

  • 第一种方案单 Reactor 单进程 /线程,不用考虑进程间通信以及数据同步的问题,因此实现起来比较简单,这种方案的缺陷在于无法充分利用多核
    CPU,而且处理业务逻辑的时间不能太长,否则会延迟响应,所以不适用于计算机密集型的场景,适用于业务处理快速的场景,比如 Redis采用的是单 Reactor 单进程的方案。
  • 第二种方案单 Reactor 多线程,通过多线程的方式解决了方案一的缺陷,但它离高并发还差一点距离,差在只有一个 Reactor对象来承担所有事件的监听和响应,而且只在主线程中运行,在面对瞬间高并发的场景时,容易成为性能的瓶颈的地方。
  • 第三种方案多 Reactor 多进程 / 线程,通过多个 Reactor 来解决了方案二的缺陷,主 Reactor只负责监听事件,响应事件的工作交给了从 Reactor,Netty 和 Memcache 都采用了「多 Reactor多线程」的方案,Nginx 则采用了类似于 「多 Reactor 多进程」的方案。

Reactor 可以理解为「来了事件操作系统通知应用进程,让应用进程来处理」,而 Proactor 可以理解为「来了事件操作系统来处理,处理完再通知应用进程」。

因此,真正的大杀器还是 Proactor,它是采用异步 I/O 实现的异步网络模型,感知的是已完成的读写事件,而不需要像 Reactor 感知到事件后,还需要调用 read 来从内核中获取数据。

不过,无论是 Reactor,还是 Proactor,都是一种基于「事件分发」的网络编程模式,区别在于 Reactor 模式是基于「待完成」的 I/O 事件,而 Proactor 模式则是基于「已完成」的 I/O 事件。

下一篇,我们来了解Proactor模型

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Reactor模型 的相关文章

随机推荐

  • Vue.js自定义事件的使用(实现父子之间的通信)

    vue v model修饰符 xff1a lazy number trim attrs数据的透传 xff0c 在组件 xff08 这个是写在App vue中 xff09 数据就透传到student组件中 xff0c 在template中可以
  • 简单算法——二分搜索的递归版本和非递归版本

    二分搜索 这是大家比较熟悉的算法了 xff0c 我们今天来复习一下 xff1a 前提 xff1a 二分查找要求所查找的顺序表必须是有序的 算法思路 定义left为顺序表最左端元素位置 xff0c right为顺序表右端元素位置 定义mid
  • Mysql(14)——事务

    概念 一个事务是由一条或者多条对数据库操作的SQL语句所组成的一个不可分割的单元 只有当事务中的所有操作都正常执行完了 xff0c 整个事务才会被提交给数据库 xff1b 如果有部分事务处理失败 xff0c 那么事务就要回退到最初的状态 x
  • Mysql(15)——锁机制 + MVCC(全)

    前言 事务的隔离级别在之前我们已经学习过 xff0c 那么事务隔离级别的实现原理是什么呢 xff1f 锁 43 MVCC 下面我们就来分开讲解 xff1a 表级锁 amp 行级锁 注意 xff1a 表锁和行锁说的是锁的粒度 xff0c 不要
  • DIY无人机组装与飞控参数调试记录(DJI NAZA-LITE)

    早就想玩一玩无人机 xff0c 奈何各种原因一直没有机会 xff0c 工作之后资金富足 xff0c 加上本身工作和这个相关性比较大 xff0c 于是就自己DIY了一台无人机 一 材料准备 xff1a F450机架 GPS支架 好盈乐天 20
  • Mysql(16)——日志

    前言 我们之前了解过redo log和undo log xff0c 他们是作用在InnoDb存储引擎层的 xff0c 今天我们来讲讲服务层的其他日志类型 一 错误日志 错误日志是 MySQL 中最重要的日志之一 xff0c 它记录了当 my
  • Mysql(17)——优化

    前言 一 SQL和索引优化 二 应用优化 除了优化SQL和索引 xff0c 很多时候 xff0c 在实际生产环境中 xff0c 由于数据库服务器本身的性能局限 xff0c 就必须要对上层的应用来进行一些优化 xff0c 使得上层应用访问数据
  • 项目——C++实现数据库连接池

    前言 在学习Mysql的时候 xff0c 我们都有这个常识 xff1a 对于DB的操作 xff0c 其实本质上是对于磁盘的操作 xff0c 如果对于DB的访问次数过多 xff0c 其实就是涉及了大量的磁盘IO xff0c 这就会导致MYsq
  • Redis入门——发展历程及NoSQL

    前言 随着社会的发展 xff0c 数据存储经历了诸多的过程 xff0c 这篇文章就是介绍Redis的发展由来 xff1a 1 单机Mysql时代 这种模式存在以下的瓶颈 xff1a 数据量太大 xff0c 一个机器存放不下数据的索引太大 x
  • Redis(1)——基本命令及数据类型(5+3)

    Redis的基本概念 Remote Dictionary Server xff1a 远程字典服务Redis 是一个开源 xff08 BSD许可 xff09 的 xff0c 内存中的数据结构存储系统 xff0c 它可以用作数据库 缓存和消息中
  • Redis(2)——事务机制

    Redis的事务机制 Redis的事务本质 xff1a 一组命令的集合一个事务中的所有命令都会都被序列化 xff0c 在事务执行的过程中 xff0c 会按照顺序执行 xff01 一次性 顺序性 排他性 执行一系列的命令Redis没有事务隔离
  • Redis(3)—— 持久化、发布订阅

    持久化 Redis是内存数据库 xff0c 如果不将内存中的数据库状态保存到磁盘中 xff0c 那么一旦服务器进程退出 xff0c 服务器中的数据库状态也会消失 所以Redis提供了持久化的功能 1 RDB xff08 Redis Data
  • Redis(4)——主从复制

    Redis主从复制 主从复制 xff1a 指的是将一个Redis服务器的数据 xff0c 复制到其他的Redis服务器 前者称为主节点 xff08 master leader xff0c 后者称为从节点 xff08 slave follow
  • Redis(5)——缓存穿透和雪崩

    概要 Redis缓存的使用 xff0c 极大的提高了应用程序的性能和效率 xff0c 特别是数据查询等 但同时 xff0c 它也带来了一些问题 其中 xff0c 最主要的问题就是数据一致性 xff0c 从严格意义上来讲 xff0c 这个问题
  • 复习:结构体大小的内存对齐问题

    内存对齐 内存对齐是指 xff1a 任意单个类型的数据都需要存放在能被它本身大小所能整除的地址上 基本类型的大小 char 1 short 2 int 4 long 4 long long 8 float 4 double 8 指针 4 8
  • 0.一些自己初学Solidworks的疑惑

    1 为什么要选择学习SolidWorks 首先 作为初学者 我们对一个东西并不是很了解 那么就需要别人来教我们 对吧 这些人可以是老师 可以是同学 可以是师傅 可以是网络上热心肠的大神 可以是一些培训机构 等等 首先呢 学习三维设计软件 看
  • LInux——五种IO模型

    Linux中的IO简述 IO主要分为以下的三种 xff1a 内存IO网络IO磁盘IO 通常我们所说的IO是后两者 xff0c Linux中无法直接操作IO设备 xff0c 必须通过系统调用请求kernal来协助完成IO的动作 xff0c 内
  • 复习:Linux中的软连接和硬连接

    前言 首先我们先来复习以下Linux的文件系统 Linux的文件系统是EXT4 以EXT4文件系统格式化磁盘时 xff0c 将磁盘分成了三个区 xff0c 分别是 xff1a 1 superblock xff1a 记录文件系统的整体信息 x
  • 复习:字节对齐的原则

    为什么需要字节对齐 xff1f 现代计算机中内存空间都是按照byte划分的 xff0c 从理论上讲似乎对任何类型的变量的访问可以从任何地址开始 xff0c 但实际情况是在访问特定类型变量的时候经常在特定的内存地址访问 xff0c 这就需要各
  • Reactor模型

    前言 首先让我们来回顾一下select poll和epoll是如何获取网络事件的 xff1a 在获取事件时 xff0c 先把我们要关心的连接传给内核 xff0c 再由内核检测 xff1a 若没有事件发生 xff0c 线程只需阻塞在这个系统调