RedisJson 横空出世,性能碾压 ES 和 MongoDB !

2023-11-16

大家好,我是乔戈里。

Redis官网给出了RedisJson(RedisSearch)的性能测试报告,可谓碾压其他NoSQL,下面是核心的报告内容,先上结论:

对于隔离写入(isolated writes),RedisJSON 比 MongoDB 快 5.4 倍,比 ElasticSearch 快 200 倍以上。

对于隔离读取(isolated reads),RedisJSON 比 MongoDB 快 12.7 倍,比 ElasticSearch 快 500 倍以上。

在混合工作负载场景中,实时更新不会影响 RedisJSON 的搜索和读取性能,而 ElasticSearch 会受到影响。

RedisJSON* 支持的操作数/秒比 MongoDB 高约 50 倍,比 ElasticSearch 高 7 倍/秒。

RedisJSON* 的延迟比 MongoDB 低约 90 倍,比 ElasticSearch 低 23.7 倍。

此外,RedisJSON 的读取、写入和负载搜索延迟在更高的百分位数中远比 ElasticSearch 和 MongoDB 稳定。当增加写入比率时,RedisJSON 还能处理越来越高的整体吞吐量,而当写入比率增加时,ElasticSearch 会降低它可以处理的整体吞吐量。

测试过程

基础设施

MongoDB v5.0.3, ElasticSearch 7.15, and RedisJSON (RediSearch 2.2+RedisJSON 2.0).

此次是在Amazon Web Services 实例上运行基准测试,这三种解决方案都是分布式数据库,并且最常用于生产中的分布式方式。这就是为什么所有产品都使用相同的通用 m5d.8xlarge VM 和本地 SSD,并且每个设置由四个 VM 组成:一个客户端 + 三个数据库服务器。基准测试客户端和数据库服务器都在处于最佳网络条件下的单独 m5d.8xlarge 实例上运行,将实例紧密地打包在一个可用区内,实现稳态分析所需的低延迟和稳定的网络性能。

测试是在三节点集群上执行的,部署细节如下:

MongoDB 5.0.3: 三成员副本集(Primary-Secondary-Secondary)。副本用于增加读取容量并允许更低的延迟读取。为了支持对字符串内容的文本搜索查询,在搜索字段上创建了一个文本索引。

ElasticSearch 7.15: 15 个分片设置,启用查询缓存,并为 2 个基于 NVMe 的本地 SSD 提供 RAID 0 阵列,以实现更高级别的文件系统相关弹性操作性能。这 15 个分片为我们为 Elastic 所做的所有分片变体提供了可实现的最佳性能结果。

RedisJSON: RediSearch 2.2 and RedisJSON 2.0: OSS Redis Cluster v6.2.6,有27个分片,均匀分布在三个节点上,加载了RediSearch 2.2和RedisJSON 2.0 OSS模块。

除了这个主要的基准/性能分析场景之外,我们还在网络、内存、CPU 和 I/O 上运行基准基准测试,以了解底层网络和虚拟机特性。在整个基准测试集期间,网络性能保持在带宽和 PPS 的测量限制以下,以产生稳定稳定的超低延迟网络传输(每个数据包 p99 < 100micros)。

我们将从提供每个单独的操作性能 [100% 写入] 和 [100% 读取] 开始,并以一组混合工作负载结束以模拟现实生活中的应用程序场景。

100% 写入基准

如下图所示,该基准测试表明,RedisJSON* 的摄取速度比 ElasticSearch 快 8.8 倍,比 MongoDB 快 1.8 倍,同时保持每个操作的亚毫秒级延迟。值得注意的是,99% 的 Redis 请求在不到 1.5 毫秒的时间内完成。

此外,RedisJSON* 是我们测试过的唯一一种在每次写入时自动更新其索引的解决方案。这意味着任何后续的搜索查询都会找到更新的文档。ElasticSearch 没有这种细粒度的容量;它将摄取的文档放在一个内部队列中,并且该队列由服务器(不受客户端控制)每 N 个文档或每 M 秒刷新一次。他们称这种方法为近实时 (NRT)。Apache Lucene 库(它实现了 ElasticSearch 的全文功能)旨在快速搜索,但索引过程复杂且繁重。如这些 WRITE 基准测试图表所示,由于这种“设计”限制,ElasticSearch 付出了巨大的代价。

结合延迟和吞吐量改进,RedisJSON* 比 Mongodb 快 5.4 倍,比 ElasticSearch 快 200 倍以上,用于隔离写入。

6461713aef899b472a6dd13a03d9c35b.png

bb60b26338ad65a5e78806461c837a9f.png

100% 读取基准

与写类似,我们可以观察到 Redis 在读取方面表现最佳,允许读取比 ElasticSearch 多 15.8 倍,比 MongoDB 多 2.8 倍,同时在整个延迟范围内保持亚毫秒级延迟,如下表所示。

在结合延迟和吞吐量改进时,RedisJSON* 比 MongoDB 快 12.7 倍,比 ElasticSearch 快 500 倍以上,用于隔离读取。

69645eadd1f18ba6412c2813d7379768.png

8c1bed755d17b6291c52ce05124e9d76.png

混合读/写/搜索基准

实际应用程序工作负载几乎总是读取、写入和搜索查询的混合。因此,在接近饱和时了解由此产生的混合工作负载吞吐量曲线更为重要。

作为起点,我们考虑了 65% 搜索和 35% 读取的场景,这代表了一个常见的现实世界场景,在该场景中,我们执行的搜索/查询比直接读取更多。65% 搜索、35% 读取和 0% 更新的初始组合也导致 ElasticSearch 和 RedisJSON* 的吞吐量相等。尽管如此,YCSB 工作负载允许您指定搜索/读取/更新之间的比率以满足您的要求。

“搜索性能”可以指不同类型的搜索,例如“匹配查询搜索”、“分面搜索”、“模糊搜索”等等。我们所做的最初向 YCSB 增加的搜索工作负载仅专注于“匹配查询搜索”,模仿分页的两词查询匹配,按数字字段排序。“匹配查询搜索”是任何启用搜索功能的供应商进行搜索分析的起点,因此,每个支持 YCSB 的数据库/驱动程序都应该能够在其基准驱动程序上轻松启用此功能。

在每个测试变体中,我们添加了 10% 的写入,以按相同的比例混合和减少搜索和读取百分比。这些测试变体的目标是了解每个产品如何处理数据的实时更新,我们认为这是事实上的架构目标,即写入立即提交到索引,读取始终是最新的。

6beb94cbe4bd168dc3e11f2d7da02cdc.png正如您在图表中所看到的,在 RedisJSON* 上不断更新数据和增加写入比例不会影响读取或搜索性能并提高整体吞吐量。对数据产生的更新越多,对 ElasticSearch 性能的影响就越大,最终导致读取和搜索速度变慢。

ElasticSearch 可实现的 ops/sec 从 0% 更新到 50% 的演变,我们注意到它在 0% 更新基准上以 10k Ops/sec 开始,并受到严重影响,减少了 5 倍的 ops/sec,在50% 更新率基准。

与我们在上述单个操作基准中观察到的类似,MongoDB 搜索性能比 RedisJSON* 和 ElasticSearch 慢两个数量级,MongoDB 的最大总吞吐量为 424 ops/sec,而 RedisJSON* 为 16K 最大 ops/sec。

最后,对于混合工作负载,RedisJSON* 支持的操作数/秒比 MongoDB 高 50.8 倍,比 ElasticSearch 高 7 倍。如果我们将分析集中在混合工作负载期间的每种操作类型的延迟上,与 MongoDB 相比,RedisJSON* 可将延迟降低多达 91 倍,与 ElasticSearch 相比,延迟降低 23.7 倍。

每个解决方案的完整延迟分析

与测量每个解决方案饱和之前产生的吞吐量曲线类似,在所有解决方案通用的可持续负载下进行完整的延迟分析也很重要。这将使您能够了解对于所有已发布操作在延迟方面最稳定的解决方案是什么,以及哪种解决方案不易受到应用程序逻辑引发的延迟峰值的影响(例如,弹性查询缓存未命中)。如果您想更深入地了解我们为什么要这样做,Gil Tene 提供了延迟测量注意事项的深入概述。

查看上一节的吞吐量图表,并关注 10% 更新基准以包含所有三个操作,我们做了两种不同的可持续负载变化:

250 ops/sec:比较 MongoDB、ElasticSearch 和 RedisJSON*,低于 MongoDB 的压力率。

6000 ops/sec:比较 ElasticSearch 和 RedisJSON*,低于 ElasticSearch 压力率。

MongoDB 与 ElasticSearch 与 RedisJSON* 的延迟分析

在下面的第一张图片中,展示了从 p0 到 p9999 的百分位数,很明显,在每次搜索时,MongoDB 的表现都远远优于 Elastic 和 RedisJSON*。此外,关注 ElasticSearch 与 RedisJSON*,很明显,ElasticSearch 容易受到较高延迟的影响,这很可能是由垃圾收集 (GC) 触发器或搜索查询缓存未命中引起的。RedisJSON* 的 p99 低于 2.61 毫秒,而 ElasticSearch p999 搜索达到 10.28 毫秒。

08bad666406c9b41b31f1791c00868d7.png

在下面的读取和更新图表中,我们可以看到 RedisJSON* 在所有延迟范围内表现最佳,其次是 MongoDB 和 ElasticSearch。

RedisJSON* 是在所有分析的延迟百分位数上保持亚毫秒级延迟的唯一解决方案。在 p99,RedisJSON* 的延迟为 0.23 毫秒,其次是 MongoDB 的 5.01 毫秒和 ElasticSearch 的 10.49 毫秒。

5edf1c6dfa8e067d18c1ac35ac5944f4.png

在写入时,MongoDB 和 RedisJSON* 即使在 p99 时也能保持亚毫秒级的延迟。另一方面,ElasticSearch 显示出高尾延迟(> 10 毫秒),这很可能与导致 ElasticSearch 搜索峰值的原因 (GC) 相同。

8eb03419ab14fe5bd5dcc6b6144696b2.png

ElasticSearch 与 RedisJSON 的延迟分析

仅关注 ElasticSearch 和 RedisJSON*,在保持 6K ops/sec 的可持续负载的同时,我们可以观察到 Elastic 和 RedisJSON* 的读取和更新模式与以 250 ops/sec 进行的分析保持一致。RedisJSON* 是更稳定的解决方案,其 p99 读取时间为 3 毫秒,而 Elastic 的 p99 读取时间为 162 毫秒。

在更新时,RedisJSON* 保留了 3 毫秒的 p99,而 ElasticSearch 则保留了 167 毫秒的 p99。

2e669790b4d9fec4fe4798b3fc91cfb5.png

659b1ac7d3b340166ee92d2ae16115ba.png

专注于搜索操作,ElasticSearch 和 RedisJSON* 以个位数 p50 延迟开始(p50 RedisJSON* 为 1.13 毫秒,而 ElasticSearch 的 p50 为 2.79 毫秒),其中 ElasticSearch 付出了 GC 触发和查询缓存未命中的代价在较高的百分位数上,在 >= p90 百分位数上清晰可见。

RedisJSON* 将 p99 保持在 33 毫秒以下,而 ElasticSearch 上的 p99 百分位数为 163 毫秒,高出 5 倍。

0512e40ef16e2638d855b300322aae25.png

总结

从上面测试结论可以看出,RedisJson几乎在各个方面的性能可谓碾压ES和Mongo,所以未来怎么搞,NoSQL要变天了吗?

转载自:https://cloud.tencent.com/developer/article/1922607

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

RedisJson 横空出世,性能碾压 ES 和 MongoDB ! 的相关文章

  • 项目缺少所需的注释处理库

    我的 Eclipse IDE 突然在问题视图中显示 xxxx 项目缺少所需的注释处理库 xxxx M2 REPO 中的一些旧 jar 我用谷歌搜索 没有找到任何答案 为什么我的项目使用旧的 jar 以及错误来自哪里 To remove th
  • 尝试获取屏幕上绘制的每个随机圆圈的 x、y 坐标

    您好 我正在制作一款游戏 该游戏将在屏幕上创建随机圆圈 随机创建的圆圈的值为红色或绿色 我的问题是 我希望不仅能够确定用户何时单击其中一个圆圈 而且还能够确定他们最终单击的圆圈 红色或绿色 下面是我的代码 我的主要问题是试图找到将要绘制的圆
  • javax.persistence.RollbackException:提交事务时出错],根本原因是 java.lang.StackOverflowError:null

    我有一个使用 Spring Data REST 框架的 Spring Boot API 从 spring boot starter parent 2 1 0 RELEASE 继承的依赖项 我正在尝试执行 PUT 或 PATCH 请求来更新实
  • 错误代码 13,SELECT INTO OUTFILE 问题

    我试图了解使用 INTO OUTFILE 命令时不断遇到问题的原因 我总是收到这个错误 ERROR 1 HY000 Can t create write to file var www p1 txt Errcode 13 SELECT pa
  • OpenNLP 与斯坦福 CoreNLP

    我一直在对这两个包进行一些比较 但不确定该往哪个方向走 我简单地寻找的是 命名实体识别 人 地点 组织等 性别识别 一个不错的训练 API 据我所知 OpenNLP 和斯坦福 CoreNLP 提供了非常相似的功能 然而 Stanford C
  • Android WebView文件上传

    我正在开发一个 Android 应用程序 基本上它是一个WebView和一个进度条 Facebook 的移动网站 m facebook com 已加载到WebView 当我单击 选择文件 按钮上传图像时 没有任何反应 我已经尝试了所有的解决
  • 在 Junit 测试中使用 ReflectionTestUtils.setField()

    我是 JUnittesting 的新手 所以我有一个问题 谁能告诉我为什么我们使用ReflectionTestUtils setField 在我们的 Junit 测试示例中 正如评论中提到的 java 文档很好地解释了用法 但我还想给你们举
  • 在 Java 中创建 T 的新实例

    在C 中 我们可以定义一个泛型class A
  • 正则表达式在 Velocity 模板中不起作用

    我在 Test java 中尝试过这个 String regex lt s br s s gt String test1 lt br gt System out println test replaceAll regex 但是当我在速度模板
  • 将现有 eclipse 项目导出到 war 文件时出现“模块名称无效”

    我正在尝试将现有 Eclipse 项目导出到 war 文件 但无论我在 WAR Export 对话框页面中输入什么 系统总是返回 模块名称无效 我不知道如何解决这个问题 谢谢您的帮助 我有同样的问题 我修复了它 请按照以下步骤操作 您可以创
  • 创建rest api url以连接mysql数据库

    我想学习如何创建一个rest api url 以便我可以使用该url获取信息并将信息发布到我的mysql数据库中 谷歌搜索了很多并阅读了各种文章 但没有找到任何精确的内容可以学习 所有内容均以 about api 开头 以已创建的其余 ur
  • MySQL:空间查询查找纬度/经度点是否位于给定边界内

    我正在研究谷歌地图搜索功能 其目的是找出 地理位置 点是否位于多边形内 如下图所示 我使用带有 Spatial 扩展的 mysql 5 6 20 我知道它内置有用的几何函数 因此我可以直接从数据库查询地理编码位置 我的目的是熟悉地理空间函数
  • Jetty Plugin 9启动不喜欢icu4j-2.6.1.jar

    我对 mortbay 的 Maven jetty 插件 6 有相同的配置
  • 有没有办法只安装mysql客户端(Linux)? [关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 有没有不需要安装整个mysql db安装包的Linux mysql命令行工具 我想做的是从服务器 1 应用程序服务器 执行将在服务器 2
  • MySQL 和 MariaDB 数据库有什么区别?

    我已经使用 XAMPP 很长时间了 很惊讶 XAMPP 已经从 MySQL 切换到了 MariaDB https www apachefriends org index html https www apachefriends org in
  • Java和手动执行finalize

    如果我打电话finalize 在我的程序代码中的一个对象上 JVM当垃圾收集器处理这个对象时仍然再次运行该方法吗 这是一个大概的例子 MyObject m new MyObject m finalize m null System gc 是
  • Java 中处理异步响应的设计模式

    我读过类似问答的答案 如何在 JAVA 中创建异步 HTTP 请求 https stackoverflow com questions 3142915 how do you create an asynchronous http reque
  • java中的预增量/后增量

    有人可以帮助我理解为什么 int i 1 int j 1 int k 1 int l 1 System out println i i System out println j j System out println k k System
  • Jackson 反序列化相当于 @JsonUnwrapped 吗?

    假设我有以下课程 public class Parent public int age JsonUnwrapped public Name name 生成 JSON age 18 first Joey last Sixpack 我如何将其反
  • 使用 AmazonSNSClient 发送短信时的授权

    aws 官方文档如何发送短信 http docs aws amazon com sns latest dg sms publish to phone html使用 java 中的 aws SDK 非常简单 但是 当发送如底部示例所示的消息时

随机推荐

  • 数学建模常用模型(六):时间序列预测

    数学建模常用模型 六 时间序列预测 时间序列预测是数学建模中的一个重要领域 用于预测时间序列数据中未来的趋势和模式 时间序列预测可以帮助我们了解数据的演变规律 做出合理的决策和规划 这是我自己总结的一些代码和资料 本文中的代码以及参考书籍等
  • 移动Web应用的性能及其未来趋势

    在一篇深入的实质性文章中 某iOS开发公司的老板Drew Crawford表示他认为目前移动Web应用运行迟缓 而且并不指望能在不久的将来看到重大改善 并列出了以上观点的全部原因 该文章是此前某篇博客文章的后续之作 在那篇文章中 他指出 与
  • el-select 点击输入框不弹出选项的下拉框

    el select 点击输入框不弹出选项的下拉框 重点是绑定click事件 用它的event判断点击的是输入框还是下拉箭头 如果是输入框 就让它失去焦点 就不会弹出选项的下拉框
  • JSTL在JSP页面上的使用

    1 JSTL标准标签库 JSTL JSP标准标签库 JSTL 是一个JSP标签集合 它封装了JSP应用的通用核心功能 JSTL支持通用的 结构化的任务 比如迭代 条件判断 XML文档操作 国际化标签 SQL标签 除了这些 它还提供了一个框架
  • QNX的应用移植迁移到Linux

    如果你认为本系列文章对你有所帮助 请大家有钱的捧个钱场 点击此处赞助 赞助额1元起步 多少随意 author 锋影 e mail 174176320 qq com 近年来许多嵌入式产品将是公司从自营到开放源代码平台为他们提供更多灵活性和成本
  • 基于微信小程序的manster云音乐小程序

    代码地址 https gitee com manster1231 master cloud music 介绍 基于网易云音乐真实接口开发的音乐小程序 软件架构 Nodejs作为后端 跨站请求伪造 CSRF 伪造请求头 调用官方 API 网易
  • 基于TCP的服务器端/客户端

    TCP服务器端默认函数调用顺序 socket 创建socket bind 分配socket地址 listen 等待连接请求状态 accept 允许连接 read write 数据交换 close 断开连接 等待连接请求状态 int list
  • 数据挖掘-数据清理-噪声数据

    数据清理 噪声数据 数据清理例程试图填充缺失的值 光滑噪声并识别离群点 纠正数据中的不一致 噪声数据 噪声 noise 是被测量的变量的随机误差或方差 光滑数据 去除噪声方法如下 1 分箱 binning 分箱方法通过考察数据的近邻 即周围
  • Linux内核中断之获取中断号

    目录 一 调用流程 二 应用举例 1 查找中断号 2 dts配置 3 驱动函数 Linux内核中可使用platform get irq 函数获取dts文件中设置的中断号 函数原型 int platform get irq struct pl
  • 保姆级Pythpn连载讲义:第五篇注释相关

    注释 目标 注释的作用 单行注释 行注释 多行注释 块注释 01 注释的作用 使用用自己熟悉的语言 在程序中对某些代码进行标注说明 增强程序的可读性 外链图片转存失败 源站可能有防盗链机制 建议将图片保存下来直接上传 img caIBaVK
  • 2012,这一年我该做些啥

    这一年 我应该完成2011年没有完成的事情 让自己在2012没有遗憾 这一年 我应该想想未来的路 给自己一个职业规划 这一年 我应该提升一下自己的技术 让自己更加专业 这一年 我应该提升一下自己的思想 让自己的头脑更加丰富 这一年 我应该养
  • 元素出栈、入栈顺序的合法性(判断一个字符串是否按照出栈顺序)

    假设入栈的序列 1 2 3 4 5 出栈序列为 4 5 3 2 1 判断出栈序列是否合法 实现思路 总的来说就是模拟元素的出入栈过程 并进行判断 首先 判断出栈序列和入栈序列的元素个数是否相等 若不相等 则不合法 若相等 则继续进行判断 其
  • pyqt 打开并显示excel表单

    参考链接 Python PyQt5 图形可视化界面 7 打开表格并显示内容 简书 from PyQt5 import QtCore QtGui QtWidgets from PyQt5 QtGui import QIcon from PyQ
  • GitLab SAST:如何将Klocwork与GitLab一起使用

    GitLab SAST是GitLab和Klocwork的结合 GitLab是一种覆盖了整个DevOps生命周期的集成解决方案 Klocwork是一个静态代码分析和应用安全静态测试 SAST 工具 当将这两个工具一起使用时 可以为软件开发团队
  • ACM: Poker Game

    题目描述 A poker deck contains 52 cards Each card has a suit of either clubs diamonds hearts or spades denoted C D H S in th
  • Leetcode-62. 不同路径

    链接 62 不同路径 题目 一个机器人位于一个 m x n 网格的左上角 起始点在下图中标记为 Start 机器人每次只能向下或者向右移动一步 机器人试图达到网格的右下角 在下图中标记为 Finish 问总共有多少条不同的路径 示例 示例
  • sklearn学习之使用sklearn进行特征选择

    文章目录 1 Removing features with low variance方差选择法 2 Univariate feature selection 单变量特征选择 2 1 特征选择方法 2 2 特征选择指标 f regressio
  • 蓝桥杯题库 算法提高非vip部分(C++、Java)代码实现(101-200)

    文章目录 ADV 103 逆序排列 cpp java ADV 112 c ch02 01 cpp java ADV 120 6 17复数四则运算 cpp java ADV 123 概率计算 cpp java ADV 127 日期计算 cpp
  • WebSocket服务

    webSocket
  • RedisJson 横空出世,性能碾压 ES 和 MongoDB !

    大家好 我是乔戈里 Redis官网给出了RedisJson RedisSearch 的性能测试报告 可谓碾压其他NoSQL 下面是核心的报告内容 先上结论 对于隔离写入 isolated writes RedisJSON 比 MongoDB