李锋镝的博客

  • 首页
  • 时间轴
  • 说说
  • 读书观影
  • 系列
  • AI工具集
  • 论坛
  • 友圈
    • 友链
    • 朋友圈
    • 游客中心
  • 留言
    • 留言
    • 走心评论
  • 关于
    • 关于本站
    • Now
    • 每日心情
    • 网站地图
    • 网站统计
    • 赞助
  • 星球穿梭
  • 🚇开往
静亦定 动亦定
惟坚韧者始能遂其志
  1. 首页
  2. 原创
  3. 正文

Elasticsearch的分布式文档存储原理

2019年12月4日 234 0 0
本文最后更新于 2019年12月4日,距今已 2535 天,其中的信息可能已经发生变化,请注意甄别。

路由一个文档到一个分片中

当索引一个文档的时候,文档会被存储到一个主分片中。Elasticsearch如何知道一个文档应该存放到哪个分片中呢?当我们创建文档时,它如何决定这个文档应当被存储在分片1还是分片2中呢?

首先这肯定不会是随机的,否则将来要获取文档的时候我们就不知道从何处寻找了。实际上,这个过程是根据下面这个公式决定的:

shard = hash(routing) % number_of_primary_shards

routing是一个可变值,默认是文档的 _id ,也可以设置成一个自定义的值。 routing 通过hash函数生成一个数字,然后这个数字再除以 number_of_primary_shards(主分片的数量)后得到余数。这个分布在0到number_of_primary_shards-1之间的余数,就是我们所寻求的文档所在分片的位置。

这就解释了为什么我们要在创建索引的时候就确定好主分片的数量,并且永远不会改变这个数量:因为如果数量变化了,那么所有之前路由的值都会无效,文档也再也找不到了。

所有的文档 API( get 、 index 、 delete 、 bulk 、 update 以及 mget )都接受一个叫做 routing 的路由参数 ,通过这个参数我们可以自定义文档到分片的映射。一个自定义的路由参数可以用来确保所有相关的文档——例如所有属于同一个用户的文档——都被存储到同一个分片中。

主分片和副本分片如何交互

我们可以发送请求到集群中的任一节点。 每个节点都有能力处理任意请求。 每个节点都知道集群中任一文档位置,所以可以直接将请求转发到需要的节点上。每个集群会有一个master节点,我们将其称为协调节点(coordinating node)。

当发送请求的时候,为了扩展负载,更好的做法是轮询集群中所有的节点。

新建、索引和删除文档

新建、索引和删除请求都是写操作,必须在主分片上面完成之后才能被复制到相关的副本分片。

在客户端收到成功响应时,文档变更已经在主分片和所有副本分片执行完成,变更是安全的。

有一些可选的请求参数允许您影响这个过程,可能以数据安全为代价提升性能。这些选项很少使用,因为Elasticsearch已经很快,但是为了完整起见,在这里阐述如下:

consistency(一致性)

consistency,即一致性。在默认设置下,即使仅仅是在试图执行一个 写 操作之前,主分片都会要求 必须要有 规定数量(quorum)(或者换种说法,也即必须要有大多数)的分片副本处于活跃可用状态,才会去执行 写 操作(其中分片副本可以是主分片或者副本分片)。这是为了避免在发生网络分区故障(network partition)的时候进行 写 操作,进而导致数据不一致。 规定数量 即:

int( (primary + number_of_replicas) / 2 ) + 1

consistency参数的值可以设为one(只要主分片状态 ok 就允许执行 写 操作),all(必须要主分片和所有副本分片的状态没问题才允许执行 写 操作), 或 quorum 。默认值为 quorum , 即大多数的分片副本状态没问题就允许执行 写 操作。

注意,规定数量的计算公式中number_of_replicas指的是在索引设置中的设定副本分片数,而不是指当前处理活动状态的副本分片数。如果你的索引设置中指定了当前索引拥有三个副本分片,那规定数量的计算结果即:

int( (primary + 3 replicas) / 2 ) + 1 = 3

如果此时你只启动两个节点,那么处于活跃状态的分片副本数量就达不到规定数量,也因此您将无法索引和删除任何文档。

timeout

如果没有足够的副本分片会发生什么? Elasticsearch会等待,希望更多的分片出现。默认情况下,它最多等待1分钟。 如果你需要,你可以使用 timeout 参数 使它更早终止: 100 100毫秒,30s 是30秒。

其他需要注意的

新索引默认有1个副本分片,这意味着为满足规定数量应该需要两个活动的分片副本。 但是,这些默认的设置会阻止我们在单一节点上做任何事情。为了避免这个问题,要求只有当number_of_replicas大于1的时候,规定数量才会执行。

取回一个文档

可以从主分片或者从其它任意副本分片检索文档

在处理读取请求时,协调结点在每次请求的时候都会通过轮询所有的副本分片来达到负载均衡。

在文档被检索时,已经被索引的文档可能已经存在于主分片上但是还没有复制到副本分片。在这种情况下,副本分片可能会报告文档不存在,但是主分片可能成功返回文档。一旦索引请求成功返回给用户,文档在主分片和副本分片都是可用的。

局部更新文档

以下是部分更新一个文档的步骤:

  1. 客户端向 Node 1 发送更新请求。
  2. 它将请求转发到主分片所在的 Node 3 。
  3. Node 3 从主分片检索文档,修改 _source 字段中的 JSON ,并且尝试重新索引主分片的文档。 如果文档已经被另一个进程修改,它会重试步骤 3 ,超过 retry_on_conflict 次后放弃。
  4. 如果 Node 3 成功地更新文档,它将新版本的文档并行转发到 Node 1 和 Node 2 上的副本分片,重新建立索引。 一旦所有副本分片都返回成功, Node 3 向协调节点也返回成功,协调节点向客户端返回成功。

update API 还接受 routing 、 replication、 consistency 和 timeout 参数。

基于文档的复制

当主分片把更改转发到副本分片时,它不会转发更新请求。相反,它转发完整文档的新版本。请记住,这些更改将会异步转发到副本分片,并且不能保证它们以发送它们相同的顺序到达。如果Elasticsearch仅转发更改请求,则可能以错误的顺序应用更改,导致得到损坏的文档。

本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可
分享到

Elasticsearch的分布式文档存储原理

也可使用浏览器菜单中的「分享」功能

微信扫一扫分享

标签: ElasticSearch 分布式 文档
最后更新:2019年12月4日

岁月同一天 11 月 12 日

回望过去的今天,你在写什么

  • AI
    1 年前 2025年11月12日
    高性价比大模型部署实战:共绩算力 + QWEN-2.5-7B 从入门到生产全指南

    在大模型应用落地过程中,算力成本往往成为中小企业和个人开发者的核心痛点——传统云服务商单卡4090每小时费用高达数十元,…

  • AI
    1 年前 2025年11月12日
    深度拆解 MemGen:Agent 生成式隐式记忆框架的原理、源码与实战

    在智能体(Agent)的能力进化中,记忆系统是决定其“自进化”能力的核心——它需要像人类一样,在推理过程中动态调用、重构…

相关文章
  • k8s + docker + Jenkins使用Pipeline部署SpringBoot项目时Jenkins错误集锦2020年4月8日
  • ElasticSearch入门-基本概念介绍以及安装2019年9月6日
  • 为什么同样是分布式架构的Kafka需要Leader而Redis不需要?2021年3月22日
  • 关于Elasticsearch文档的描述以及如何操作文档的详细总结2019年9月18日
  • Elasticsearch零停机迁移数据2019年12月11日

李锋镝

既然选择了远方,便只顾风雨兼程。

打赏 点赞
< 上一篇
下一篇 >
1234567891112131415161718192021222324252627282930313233343536373839404142434446474849505152535455575859606162636465666769727476777879808182858687909293949596979899
取消回复
…

文章评论

还没有评论,快来抢沙发吧~

朋友病了,要挂盐水。给他扎针的是一个实习小护士,扎了半天都没扎进血管。他痛得龇牙咧嘴,无奈叫来了护士长。护士长好手法,只见她一针见血地扎进了血管,然后马上拔出来,把针递给那个实习护士说:“看清楚没有?你再试一次!”

听点儿音乐吧 朋友~
文章目录
最新 热点 随机
最新 热点 随机
给服务器加了WAF 又一个逆天改命的人:小小徐 AI的生成能力等于生产力吗? NGINX严重漏洞(CVE-2026-15176、CVE-2026-93479、CVE-2026-97205) Kratos-plus v1.1.27更新说明 php2shell远程执行漏洞修复(CVE-2026-109618 和 CVE-2026-109619)
给主题增加了游客中心功能心气没了,干什么都不得劲给服务器加了WAF我觉得是时候公布我的导航网站了游本昌去世关于主题加载速度优化的一点儿小演进
CC知识共享协议各协议内容解释 祝:祖国生日快乐! 前端开发者进阶AI Agent开发:全栈知识体系与实战指南 九种常用的UML图总结 MapStruct深度解析:从原理到实战,告别BeanUtil的性能与安全痛点 StarUML4.0破解文件
最近评论
李锋镝 发布于 3 天前(11月09日) 我也刷到了,说是恶意引流的
皮皮社长 发布于 3 天前(11月09日) 我刷到的,怎么是说剧本骗流量的?如果真的是用来骗流量,那真恶心。欺骗网友感情。
李锋镝 发布于 3 天前(11月09日) 现在我这个是十个,其实也够用了
老张博客 发布于 3 天前(11月09日) 雷池唯一不好的就是只能免费5个网站。
fairy 发布于 6 天前(11月06日) 机器人快来我这里吧!
标签聚合
AI编程 K8s MySQL IDEA 数据库 多线程 AI 架构 Spring SpringBoot Theme WordPress Redis SQL Claude ElasticSearch 日常 分布式 JAVA JVM
友情链接
  • 搬砖日记
  • lijie blog
  • sssr7844的博客
  • 韩情脉脉
  • 九仞之行
  • 韩小韩博客
  • Mr.Sun的博客
  • 皮皮社
  • 老张博客
  • 彬红茶日记
  • Honesty
  • Serendipity
  • 瓦匠个人小站
  • 知向前端
  • 林羽凡
  • 懋和道人
  • 哥斯拉
  • 志文工作室
  • 刘永博客

COPYRIGHT © 2016-2026 lifengdi.com. ALL RIGHTS RESERVED.

lifengdi.com 十年之约虫洞

Domain age badge for lifengdi.com

Theme Kratos-plus By Dylan Li

津ICP备2024022503号-3

京公网安备11011502039375号