欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Elasticsearch 关键概念介绍

程序员文章站 2022-07-09 12:36:50
...

例如,假设我们有两个文档,每个文档的 content 域包含如下内容:

文档ID 文档内容
1 Tom has a cat
2 This cat is very cute

倒排索引

Elasticsearch 使用一种称为 倒排索引 的结构,它适用于快速的全文搜索。一个倒排索引由文档中所有不重复词的列表构成,对于其中每个词,有一个包含它的文档列表。

为了创建倒排索引,我们首先将每个文档的 content 域拆分成单独的 词,创建一个包含所有不重复词条的排序列表,然后列出每个词条出现在哪个文档。结果如下所示:

Term 1 2
tom
has
a
cat
this
is
very
cute

形成如下

Term Doc
tom [1]
has [1]
a [1]
cat [1,2]
this [2]
is [2]
very [2]
cute [2]

Doc values

利用操作系统的内存,而不是 JVM 的 Heap

在搜索的时候,我们能通过搜索关键词快速得到结果集。
当排序的时候,我们需要倒排索引里面某个字段值的集合。换句话说,我们需要 转置 倒排索引。
转置 结构在其他系统中经常被称作 列存储 。实质上,它将所有单字段的值存储在单数据列中,这使得对其进行操作是十分高效的,例如排序。

在 Elasticsearch 中,Doc Values 就是一种列式存储结构

文档ID 文档词条
1 a, cat, has,tom
2 cat,cute,is,this,very

Fielddata

利用 JVM 的 Heap (踩过坑)

控制参数:

#为 fielddata 设置一个上限
indices.fielddata.cache.size:  20%

#fielddata 断路器默认设置堆的 60% 作为 fielddata 大小的上限。
indices.breaker.fielddata.limit
#request 断路器估算需要完成其他请求部分的结构大小,例如创建一个聚合桶,默认限制是堆内存的 40%。
indices.breaker.request.limit
#total 揉合 request 和 fielddata 断路器保证两者组合起来不会使用超过堆内存的 70%
indices.breaker.total.limit

查看集群fielddata

GET _cat/fielddata

清理fielddata

POST _cache/clear

上一篇: java 数字签名

下一篇: 仿射密码 ctf