【HBZ分享】ElasticSearch读写数据的原理 以及 路由策略原理-【短而精悍,易于理解】

2023-11-11

ElasticSearch分布式工作原理,是如何进行读写数据的

1. 简单介绍ES
首先es是分布式的,只要我们启动相应数量的节点,并且这些节点分配相同的cluster.name,那他们就对属于同一个集群了,创建索引的时候,只需要指定对应的主分片数 和 副分片数量即可,剩下的交给es自己去做就可以了。但我们也需要知道es的原理

2. 节点交互原理:
在这里插入图片描述
请先注意:master节点并不是负责写操作的,而负责写操作的是【主分片】,即P0 或 P1。这一点和MYSQL是有区别的,MYSQL的master是负责写操作的。也就是说在ES中路由策略选中的主分片落在哪个节点上,那么该文档就会在该节点写入,并同步到对应的副分片。路由策略原理请看后面的ES路由原理

从上图来看,主分片P0,P1分别落在NODE1 和 NODE3上,这也就说明文档的写入一定是从NODE1 或 NODE3开始写入的,绝对不会从NODE2写入,因为NODE2这个节点并不存在主分片。那么究竟是从P0 还是 P1写入,这个要看路由策略最终会选择哪个主分片。

我们举一个实际例子:现在我们向NODE1 发送了新增文档请求,而路由策略最终选择了主分片-P0,那么在这整个过程ES都做了哪些操作呢?请看下图
在这里插入图片描述
1. 发送请求到NODE1上
2. 节点通过文档的路由算法确定该文档应属于【主分片-P0】, 而P0在NODE3节点上,因此该请求会转发到NODE3上面
3. 当P0主分片写入成功后,请求会转发到NODE1, NODE2节点中的R0-副分片上,因为R0是P0的副分片。一旦副分片也添加完毕并报告成功,此时NODE3会向NODE1报告成功,最终NODE1会向客户端报告成功,此次文档添加彻底完毕。

3. 读取文档
(1). 客户端向NODE1发送读取文档请求
(2). 在读取请求时,NODE1会通过轮询所有副本分片的方式来达到负载均衡,因为读是可以从副分片读的,所以当读取压力很大时,就可以增多副分片来实现优化减压。


ES文档的路由原理(就是一个公式)

1. 前言
当我们添加一个文档时,该文档应该存储到哪个主分片中,这时ES文档的路由就派上用场了。

2. 路由算法
首先存储到哪个主分片,这肯定不是随机的,是根据下面的公式

  • shard = hash(routing) % 主分片个数*

routing: 是个可变值,默认是文档的id,当然你也可以设置自定义值。routing通过hash函数,生成一个数字,然后和主分片个数取模,最终得到该文档应该存储到哪个主分片

至此我们应该知道了为什么创建索引的时候,确定了主分片数量后就永远不能改变主分片的数量了。就是因为路由算法。如果可以任意改变主分片的个数,那么同一个id对不同个数的主分片hash取模,获取的结果必然不同,造成的后果就是旧的数据就会出现存在但是查不到的情况。所以主分片个数一旦设定完就不能更改。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

【HBZ分享】ElasticSearch读写数据的原理 以及 路由策略原理-【短而精悍,易于理解】 的相关文章

随机推荐

  • vue 的酒店⺠宿⽹站毕业设计源码250910

    基于Springboot的酒店民宿网站 摘 要 随着互联网和宽带上网的普及 Internet 网站在中国异军突起 并日益渗透到人们的日常生活中 网站是运用现代通信技术 计算机和网络技术进行的一种社会形态 其目的是通过互联网满足人们的需求 在
  • sql查询条件:闭区间和开区间(>=和>)效率分析

    A select from T Info Passengers where id gt 3245B select from T Info Passengers where id gt 3245 A 返回结果46956条 占用时间 毫秒 读取
  • bigdecimal加减乘除运算

    1 加法 Test public void testAdd 用double类型初始化BigDecimal对象 BigDecimal numA new BigDecimal 0 05 BigDecimal numB new BigDecima
  • 【数据结构】排序算法大总结

    文章目录 1 排序的概念及运用 2 常见排序算法的实现 2 1 插入排序 2 1 1 直接插入排序 2 1 2 希尔排序 2 2 选择排序 2 2 1 直接选择排序 2 2 2 堆排序 2 3 交换排序 2 3 1 冒泡排序 2 3 1 快
  • 图解redis五种数据结构底层实现(动图版)

    redis有五种基本数据结构 字符串 hash set zset list 但是你知道构成这五种结构的底层数据结构是怎样的吗 今天我们来花费五分钟的时间了解一下 目前redis版本为3 0 6 动态字符串SDS SDS是 simple dy
  • Spring Cloud Gateway网关工作原理、网关谓词和GatewayFilter工厂

    Spring Cloud Gateway 官方文档地址 https docs spring io spring cloud gateway docs current reference html Spring Cloud Gateway项目
  • 2021-01-25

    1 运算符优先级 2 条件判断 2 1 条件判断语句 if语句 执行的流程 if语句在执行时 会先对条件表达式进行求值判断 如果为True 则执行if后的语句 如果为False 则不执行 语法 代码块中保存着一组代码 同一个代码块中的代码
  • Sample Python Implementation using a Linked List

    直接贴代码 class Node object def init self value next node None self value value self next node next node class List object d
  • Netlist与RTL仿真结果不匹配

    Netlist 仿真和RTL比匹配主要是因为Netlist会存在不定态以及传播不定态 导致仿真不正确 不定态的来源 大多数设计在上电时不能保证cell的特定的逻辑状态 flip flop或memory根据环境因素 芯片间的工艺差异等可能会有
  • nacos访问地址无登录界面问题:版本2.2.3

    场景 访问 localhost 8848 nacos 地址时 没有弹出登录界面 提示 当前集群没有开启鉴权 请参考文档开启鉴权 此时左边菜单也没有权限控制模块 原因分析 这是新版本的配置文件中鉴权开关没有开启的原因 具体可以修改以下配置项
  • python-使用chinese_calendar判断是否节假日/工作日/调休日,-使用weekday()判断星期几

    最近在编写一个小程序时 需要判断是否为工作日 节假日以及星期几 发现chinese calendar这个第三方插件还蛮好用 可以用来识别是否工作日 datetime下的weekday 判断星期几 现做如下分享 一 工作日 节假日的判断 1
  • 区块链技术学习笔记——1.区块链介绍

    基本概念 区块链介绍 区块链是一个由多个参与方共同维护的并且持续增长的分布式数据库 通常也被称作分布式共享账本 可以促进在业务网络中记录交易和跟踪资产的过程 把多笔交易的信息以及表明该区块的信息打包放在一起 经验证后的这个包就是区块 每个区
  • vue常用插件集合

    vue常用插件集合 vue treeselect vue treeselect 是一个多选组件 具有对 Vue js嵌套选项支持 vue layer使用方法 官网 可拖动对话框 支持传入组件 element表单自动生成 Element Pl
  • Go结构体

    struct类型是值类型 Go语言没有class类型 只有struct类型 定义 var stu Student var stu Student new Student var stu Student Student golang中的str
  • 码农保命秘诀之全身检查_专属全身体检项目大全

    废话不多说 狗命要紧 下面直接上干货 健康活着才有输出 特别是28 35之间的不注重身体 往往打败你的不是敌人 而是你自己 还怎么冲刺35大关 里面的注释简单看看就行 主要是照单让医生开单检查 挂个内科 说自己身体哪里不舒服 需要这些检查
  • ADS系列 – 低噪声放大器(LNA)模型下载安装及 LNA仿真设计

    1 概述 低噪声放大器 Low Noise Amplifier LNA 作为接收系统的第一个电路单元 它的性能直接影响着整个接收机的性能 低噪声放大器的功能是在保证产生最低的噪声前提下 将信号进行放大 以降低后续模块所产生的噪声对信号的影响
  • windows2008 不能跳出修复选项

    windows2008 R2意外断电后无法启动 提示修复或者正常启动 但即便你选择正常启动 系统还是会跳到修复选项 看起来是要折腾一下 BIOS自检 找到硬盘引导记录MBR MBR读分区表 找到主分区 读取主分区的引导记录 搜索启动管理器文
  • 三、C++语言进阶:动态库与静态库之类篇

    3 动态库与静态库之类篇 3 1 素材 文件 test h pragma once class Test public Test Test void Func int i test cpp include
  • 【死磕 Java 基础】— 我同事一个 select 分页语句查出来了 3000W 条数据

    大家好 我是大明哥 某天我正在工位上听着 Victory 愉快地敲着 hello world 这感觉就像我写的代码能征服世界 突然运维给我打了一个电话 说我们某台服务器 OOM 了 要我过去看下 这感觉就像 xxx 你懂的 去运维室 登录服
  • 【HBZ分享】ElasticSearch读写数据的原理 以及 路由策略原理-【短而精悍,易于理解】

    ElasticSearch分布式工作原理 是如何进行读写数据的 1 简单介绍ES 首先es是分布式的 只要我们启动相应数量的节点 并且这些节点分配相同的cluster name 那他们就对属于同一个集群了 创建索引的时候 只需要指定对应的主