服务器系统缓存问题总结

2023-05-16

        做后端的同学都知道缓存,而且越是大的访问量的后端服务,缓存的作用越是重要。最近看了些大佬的解说,觉得说的很好,在此将我理解的记录下来,下面总结下后端缓存的一些知识点。顾名思义,缓存是如何出现的,从字面上的意思理解就是将本次请求的数据保存在内存里面,下次访问请求再来的时候,直接返回缓存的数据,不用再去访问DB(数据库)数据。这样做的好处是访问请求得到快速的响应,而且也可以大大缩小对数据库访问的压力;但是要完全实现这一点其实需要做很多很多的工作,如果你的业务量没有搞并发的访问量,那么这个缓存是没有必要的,可以直接去掉。

        接下来列举一下我们在做缓存的时候会遇到的一些常见问题

1、系统缓存常见问题

在这里只列举几个很常见的问题,在系统框架缓存设计的时候是需要特别考虑这些因素的:缓存穿透、缓存击穿、缓存雪崩、数据一致性和缓存监控。

2、缓存穿透

        什么叫缓存穿透呢,意思就是访问请求在缓存里面没有命中,而直接到了后端的DB进行请求,这样的请求就是缓存穿透,这样的请求一般情况是没什么的,因为,不存在,直接到达了后端DB数据库,到时候如果是黑客,那么可能就会被利用来进行恶意攻击,不停的穿透,对后台DB造成巨大访问压力,直到数据库崩溃,导致其他正常请求也无法正常访问。这种情况怎么解决呢,大佬给出方法也比较简单:

  • 缓存占位符
  • 短暂缓存,比如一分钟

上面的方法就是说在你设计缓存的时候,如果遇到穿透到DB也没有需要的数据的时候,在缓存里面记录一个占位符,并设置有效时间为一分钟,这样可以完全防止不法分子利用缓存穿透来恶意攻击数据库的访问请求。

3、缓存击穿

虽然大佬把它单独归为一类,其实从字面上来理解感觉和穿透差不多,但是其实也不一样。击穿这种情况是因为缓存数据时间过期,然后有大量的并发请求,如果这时每一处理好缓存,那么大量的同一访问请求就会大量击穿缓存,到达数据库进行访问,此时的数据库也是受不了这么大的访问的,数据库很容易直接down掉。解决这种情况的方法是:

  • 唯一DB请求,共享请求结果

解决方法的意思是,如果针对同一请求,在缓存数据过期的时候,在有一个访问请求来的时候需要生成一个唯一的请求ID,然后如果还有大量的请求,就等着结果,不需要再到数据库去请求,这样可以减小数据库压力,保证系统正常运行。当新的缓存返回,之前的同一请求都直接拿着这个最小的结果返回即可

4、缓存雪崩

缓存雪崩是什么意思呢?就是大量的缓存(如上万缓存)同时到达过期时间,这时大量的请求都会同时落到后端数据库,这样也会导致后端数据库的压力巨大。这种情况的解决办法是这样的:

  • 在缓存过期时间上加上一段时间(比如半小时)的随机时间偏差

上面的解决办法的意思就是在设置缓存时间有效期的时候加上随机时间偏差,避免大量缓存数据同时过期,导致大量访问请求同时落到后端数据的情况发生

5、缓存和数据库一致性

数据一致性是为了保证多个地方数据的一致,缓存有份数据,数据库里面也有一份数据,需要保持两个地方数据的一致性,那么什么情况区保证呢?其实就是在缓存数据过期,需要从新拉去数据的时候,那么此时,可能之前的什么请求修改了缓存,那么此时就需要更新到数据库里面去,这个时候就存在两种方法:

  • 先删缓存,再更新到数据库
  • 先更新数据库,再删缓存

那么我们选哪一种的,如果选择第一种,先删缓存,那么就会存在这种情况,你删了缓存,但是你还没更新完数据库,此时又有请求来,那么他就会去数据库拉数据,并更新缓存,但是此时数据库的数据还没更新,所以缓存里面就会存在不正确的数据,即为脏数据,所以这种方法是不行的

如果选第二种,先更新数据库,那么就不会存在这种情况,所以我们选择第二种:先更新数据库,再删缓存的方式

6、缓存监控

缓存监控是为了检验我们的缓存设计是不是有效,需要监控记录缓存的命中率,如果命中率太低,那么可以说我们的缓存做的是不行的,是失败的。比如说,我们缓存里面有1000条数据,如果统计出来热点数据只有10条,那么这个缓存需要优化,因为命中率太低了。监控还需要检验过期时间的设置是否合理,来进一步进行调优,所以缓存的设计是会根据测试或者业务上去后不断优化的过程,看到此处大概明白了缓存为什么如此麻烦了吧。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

服务器系统缓存问题总结 的相关文章

  • 2D目标检测模型表现总览

    前言 2D检测领域各种模型层出不穷 xff0c 为了对他们有一个直观的印象 xff0c 想要总结这么一张表 强烈欢迎大家补充 修正 更改以及完善 xff01 可以在本文留言 xff0c 或者去github上修改 xff0c 谢谢 xff01
  • pyrealsense2 初步使用教程

    这是我的推广信息 xff0c 以激励自己更好的分享自己的知识和经验 xff01 也希望看到的你能够多多支持 xff0c 谢谢 xff01 1 滴滴云AI大师 目前滴滴云正在大力推广自己的云计算服务 xff0c 需要购买的朋友们用我的AI大师
  • 如何表示MASK

    这是我的推广信息 xff0c 以激励自己更好的分享自己的知识和经验 xff01 也希望看到的你能够多多支持 xff0c 谢谢 xff01 1 滴滴云AI大师 目前滴滴云正在大力推广自己的云计算服务 xff0c 需要购买的朋友们用我的AI大师
  • 使用合成数据改善机器学习中的极度不平衡数据集

    这是我的推广信息 xff0c 以激励自己更好的分享自己的知识和经验 xff01 也希望看到的你能够多多支持 xff0c 谢谢 xff01 1 滴滴云AI大师 目前滴滴云正在大力推广自己的云计算服务 xff0c 需要购买的朋友们用我的AI大师
  • NVIDIA A100 深度解密(一):GPU 峰值计算那些事

    这是我的推广信息 xff0c 以激励自己更好的分享自己的知识和经验 xff01 也希望看到的你能够多多支持 xff0c 谢谢 xff01 1 滴滴云AI大师 目前滴滴云正在大力推广自己的云计算服务 xff0c 需要购买的朋友们用我的AI大师
  • 算法中七种常见的时间复杂度

    这是我的推广信息 xff0c 以激励自己更好的分享自己的知识和经验 xff01 也希望看到的你能够多多支持 xff0c 谢谢 xff01 1 滴滴云AI大师 目前滴滴云正在大力推广自己的云计算服务 xff0c 需要购买的朋友们用我的AI大师
  • Python之日志处理(logging模块)

    这是我的推广信息 xff0c 以激励自己更好的分享自己的知识和经验 xff01 也希望看到的你能够多多支持 xff0c 谢谢 xff01 1 滴滴云AI大师 目前滴滴云正在大力推广自己的云计算服务 xff0c 需要购买的朋友们用我的AI大师
  • 李群、李代数之我的理解

    我目前的研究领域转到了立体匹配方向 但是基础很薄弱 xff0c 很多理论知识都需要补充 希望自己能够满满的累积起足够的基础知识 这篇博客主要是记录自己对李群 李代数的初步理解 xff0c 还请大家一些讨论进步 参考资料 lie group
  • 科研神器软件(关于查词、翻译)

    整理了几个和科研相关的神器软件 网址 xff0c 关于英文写作 翻译 查词的 xff0c 记录如下 xff1a 英文写作的词句库网站 xff0c 包含大量的例句和写作模板 xff1a https www phrasebank manches
  • CT典型数据——shepp_logan体模数据的生成 python版本

    phantominator包介绍 网址 xff1a https github com mckib2 phantominator安装 xff1a pip install phantominator简介 xff1a 用于简便的生成 numeri
  • 解决 dpkg 安装出错后的 Sub-process /usr/bin/dpkg returned an error code (1) 错误

    前言 在使用 dpkg i 安装 deb软件包的过程中 xff0c 会出现安装失败的可能 之后无论用 sudo apt install f or sud apt autoremove 等常见的修复命令都是无效的 网络上很多解决方案都直接给出
  • Ubuntu20.4 休眠之后网络出现问题的解决方案

    问题简介 Ubuntu20 04 在休眠之后 xff0c 如果网络出现了无法连接或者无法共享的各种问题 xff0c 只有重启才能解决 xff0c 那么以下操作可以让你不用重启电脑 解决方案 重启 network kernel modules
  • 京东京造K系列机械键盘在Linux下的使用

    前言 京东京造是一款为Mac iPad iPhone适配出色的蓝牙键盘 xff0c 官方也支持Win系统 这款键盘 xff0c 其实就是Keychron K8 xff0c 国外非常火的Mac键盘 xff0c 深受苹果用户的喜爱 YouTub
  • 事件相机仿真器(ESIM)安装记录

    前言 在 Ubuntu 20 04 下安装 ESIM 事件相机仿真器 特此记录 资料 官网 https github com yunxdai rpg esim 安装指导 https github com uzh rpg rpg esim w
  • [翻译]解决使用 git clone 命令时出现的 ‘gnutls_handshake() failed’ 错误

    错误介绍 使用 git clone 时出现如下错误 xff1a fatal unable to access 39 https github com Syllo nvtop git 39 gnutls handshake failed Th
  • 解决 pycharm 从快捷方式启动与从终端启动环境不同的问题

    前言 博主在安装了 ros 相关的两个python包 rospy 和 roslaunch 之后 xff0c pycharm 无法 import 这两个包 但是在终端中用同样的python解释器又可以import这两个包 同时 xff0c 从
  • Ubuntu 常用命令使用记录

    Linux 查找包含特定关键词的文件 grep r E 39 word1 word2 word3 39 yourpath gt gather log 如果要and关系查找 则要用管道 grep pattern1 files grep pat
  • Linux 通过 SSH 挂载远程文件夹

    前言 在两台Linux电脑之间 xff0c 我们可以通过ssh方便的登录另一台电脑并访问它的文件或者文件夹 但这都是我们用户在进行操作 想要在一台电脑上运行程序 xff0c 处理放在另一台电脑上的文件时 xff0c 我们应该如何设置呢 xf
  • ROS节点的初始化及退出详解(ros::init、SIGINT、ros::ok、ros::NodeHandle)

    希望大家收藏 xff1a 本文更新地址 xff1a https haoqchen site 2018 04 28 ROS node init 左侧专栏还在更新其他ROS实用技巧哦 xff0c 关注一波 xff1f 很多ROS新手编写节点的时

随机推荐

  • Ubuntu 终端前多了个 base

    Ubuntu 终端前多了个 base xff0c 想将base去掉 xff0c 如何操作 xff1f 原文 xff1a https blog csdn net qq 35544714 article details 109270602 装完
  • GNU __attribute__浅析

    GNU attribute 浅析 1 介绍 attribute 是GCC的特性 xff0c 其实是个编译器指令 xff0c 告诉编译器声明的特性 xff0c 或者让编译器进行更多的错误检查和高级优化 attribute 可以设置函数属性 x
  • FreeRTOS学习(一)

    1 FreeRTOS任务基础 1 1 多任务系统 在51单片机 AVR STM32裸机编程时 xff0c 我们通常都是用一个main函数里面加一个while 1 做一个大循环来完成所有的事务处理 xff0c 同时在加上中断处理一些较为紧急的
  • FreeRTOS学习(四)

    4 FreeRTOS信号量 4 1 信号量简介 信号量主要是用于对共享资源的访问和任务同步 具体的使用例子就不进行展开 4 2 二值信号量 4 2 1 二值信号量简介 二值信号量通常用于互斥访问或同步 xff0c 二值信号量与互斥信号量非常
  • FreeRTOS学习(七)

    7 系统裁剪 7 1 简介 FreeRTOS中的系统裁剪和配置其实是通过条件编译的方法来实现的 xff0c 不止FreeRTOS这么干 xff0c 很多的协议栈 RTOS系统和GUI库都是使用条件编译的方法来完成配置和裁剪的 在第二章使用静
  • 【APM】第一个应用程序

    第一个应用程序 此部分对应教程原文 http ardupilot org dev docs learning ardupilot the example sketches html HelloWorld 代码编写及编译 学习任何一种平台都从
  • 无人机定高算法

    高度控制 高于目标值时应该减速 xff0c 要输出负值 xff0c 所以高度差 61 目标高度 当前高度 速度控制 xff1a 向上时 速度为正 应该减速 xff0c 要输出负值 xff0c 所以速度差 61 高度差的速度 当前速度 如果只
  • Git -- 子模块

    子模块 如果想直接上手操作 xff0c 可以只看 适用场景 定义 快速使用 小节 否则看这篇文章或者 原文 都可以 文章目录 子模块适用场景定义快速使用添加子模块同步本地到远程克隆带有子模块的仓库分支操作同步远程到本地 相关命令信息补充遇到
  • 神经网络的参数为什么需要它的值很小,且变化范围小

    Tips xff1a 只不过是本人的感觉 xff0c 未经过试验验证 xff0c 同样也没有任何依据 值小的话在计算上基本不会出现上溢出由于目前在深度学习中数据都是用多维表示 xff0c 比如词向量的维度就有128 256维或者更高 xff
  • java:N的N次方

    题目描述 现给你一个正整数N xff0c 请问N N的最左边的数字是什么 xff1f 输入格式 输入包含多组测试数据 每组输入一个正整数N xff08 N lt 61 1000000 xff09 输出 对于每组输入 xff0c 输出N N的
  • ACM:入口的选择------深度优先搜索

    入口的选择 Time Limit 1000MS Memory Limit 32768K Description Zeism玩的赛车游戏中 xff0c 有一种树形的赛道 树根表示赛道的终点 xff0c 任何一个叶子结点表示一个赛道的入口 xf
  • 在服务端没接显示器的情况下,nomachine远程连接客户端看到的是黑屏的问题

    这里遇到一个问题 xff0c 在服务端没接显示器的情况下 xff0c nomachine远程连接客户端看到的是黑屏 xff08 我这里服务器是ubuntu18 04 xff09 参考链接 xff1a https blog csdn net
  • ACM:n!的位数 :斯特林公式

    n 的位数 Time Limit 2000MS Memory Limit 65536K Description 针对每个非负整数n xff0c 计算其n 的位数 Input 输入数据中含有一些整数n xff08 0 n xff1c 10 7
  • java 自定义封装jdbc dao类

    手动封装jdbc和dao层 xff0c 体会其中的优点与不足 注 xff1a 本次采用的mysql数据库记得添加数据库的驱动包 Dbhelper类 xff1a 对jdbc进行封装 xff0c 采用单例模式 xff0c 不用每次都去连接数据库
  • Mybatis 二级缓存

    mybatis的缓存分为一级缓存和二级缓存 xff0c 缓存是用来缓存部分经常性访问的数据 xff0c 而不必每一次都跑到数据库获取或运算 xff0c 目标是提高系统的性能 一级缓存 对于每一个sqlSession 其中有一个HashMap
  • win10系统下CUDA示例项目编译出错MSB3721解决

    在win10系统下安装好cuda9 1后 xff0c 在VS2017中打开cuda corporation中的项目 xff0c 编译发现一直报错MSB3721 xff0c 无法导入windows h文件 xff0c 错误提示如下 xff1a
  • Wi-Fi放大器、中继、桥接和mesh组网的理解

    前言 针对路由器其实有很多的知识可以去学习 xff0c 包括路由器的路由功能 Wi Fi放大功能 中继 桥接和近几年才流行的mesh组网功能 xff0c 下面我将针对这几个功能说说我自己的通过相关资料的学习形成自己的一些理解 xff0c 强
  • MAC下虚拟机PD转换成win上可以用的vmware

    最近是需要mac机子转windows xff0c 然后之前在mac上面安装的虚拟机Ubuntu需要移到window上面使用 xff0c mac上面是使用Parallel Desktop安装的虚拟机 xff0c 在windows上面使用的是V
  • Openresty之实现http访问请求

    如果是第一次看这个文章 xff0c 可以先看下这篇openresty介绍性的文章 xff1a Openresty概述介绍 在openresty里面可能有访问其他服务的需求 xff0c 我们当时是需要定时去另外一个服务拉取一些配置信息 xff
  • 服务器系统缓存问题总结

    做后端的同学都知道缓存 xff0c 而且越是大的访问量的后端服务 xff0c 缓存的作用越是重要 最近看了些大佬的解说 xff0c 觉得说的很好 xff0c 在此将我理解的记录下来 xff0c 下面总结下后端缓存的一些知识点 顾名思义 xf