Elasticsearch 关键概念介绍
程序员文章站
2022-07-09 12:36:50
...
例如,假设我们有两个文档,每个文档的 content 域包含如下内容:
文档ID | 文档内容 |
---|---|
1 | Tom has a cat |
2 | This cat is very cute |
倒排索引
Elasticsearch 使用一种称为 倒排索引 的结构,它适用于快速的全文搜索。一个倒排索引由文档中所有不重复词的列表构成,对于其中每个词,有一个包含它的文档列表。
为了创建倒排索引,我们首先将每个文档的 content 域拆分成单独的 词,创建一个包含所有不重复词条的排序列表,然后列出每个词条出现在哪个文档。结果如下所示:
Term | 1 | 2 |
---|---|---|
tom | √ | |
has | √ | |
a | √ | |
cat | √ | √ |
this | √ | |
is | √ | |
very | √ | |
cute | √ |
形成如下
Term | Doc |
---|---|
tom | [1] |
has | [1] |
a | [1] |
cat | [1,2] |
this | [2] |
is | [2] |
very | [2] |
cute | [2] |
Doc values
利用操作系统的内存,而不是 JVM 的 Heap
在搜索的时候,我们能通过搜索关键词快速得到结果集。
当排序的时候,我们需要倒排索引里面某个字段值的集合。换句话说,我们需要 转置 倒排索引。
转置 结构在其他系统中经常被称作 列存储 。实质上,它将所有单字段的值存储在单数据列中,这使得对其进行操作是十分高效的,例如排序。
在 Elasticsearch 中,Doc Values 就是一种列式存储结构
文档ID | 文档词条 |
---|---|
1 | a, cat, has,tom |
2 | cat,cute,is,this,very |
Fielddata
利用 JVM 的 Heap (踩过坑)
控制参数:
#为 fielddata 设置一个上限
indices.fielddata.cache.size: 20%
#fielddata 断路器默认设置堆的 60% 作为 fielddata 大小的上限。
indices.breaker.fielddata.limit
#request 断路器估算需要完成其他请求部分的结构大小,例如创建一个聚合桶,默认限制是堆内存的 40%。
indices.breaker.request.limit
#total 揉合 request 和 fielddata 断路器保证两者组合起来不会使用超过堆内存的 70%
indices.breaker.total.limit
查看集群fielddata
GET _cat/fielddata
清理fielddata
POST _cache/clear