Elasticsearch中文分词及全文检索

程序员文章站 2022-07-06 19:58:19

...

分词就是指将一个文本转化成一系列单词的过程，也叫文本分析，在Elasticsearch中称之为Analysis。

分词API

接口：POST http://192.168.12.10:9200/_analyze
参数

{
  "analyzer":"standard",
  "text":"我是中国人"
}

中文分词器 IK Analyzer

IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IK Analyzer 3.0则发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现

IKAnalyzer 插件安装

下载下载地址 https://download.csdn.net/download/zhangxm_qz/12553781
解压文件到 ES安装目录 plugins下
yum install -y unzip zip --安装 unzip命令
unzip elasticsearch-analysis-ik-6.5.4.zip --解压安装文件

[[email protected] plugins]# ll
总用量 0
drwxr-xr-x. 5 root root 135 11月 20 2018 zk
[[email protected] plugins]#

重启es服务

IKAnalyzer 插件测试

调用接口测试
POST http://192.168.12.10:9200/_analyze

参数：

{
  "analyzer":"ik_max_word",
  "text":"我是中国人"
}

响应

{
    "tokens": [
        {
            "token": "我",
            "start_offset": 0,
            "end_offset": 1,
            "type": "CN_CHAR",
            "position": 0
        },
        {
            "token": "是",
            "start_offset": 1,
            "end_offset": 2,
            "type": "CN_CHAR",
            "position": 1
        },
        {
            "token": "中国人",
            "start_offset": 2,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "中国",
            "start_offset": 2,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 3
        },
        {
            "token": "国人",
            "start_offset": 3,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 4
        }
    ]
}

全文检索测试

准备数据

创建索引

PUT http://192.168.12.10:9200/myindex2

{
  "settings": {
    "index": {
        "number_of_shards": "1",
        "number_of_replicas": "0"
    }
   },
  "mappings": {
    "person": {
      "properties": {
        "name": {
        "type": "text"
        },
        "age": {
        "type": "integer"          
        },
        "mail": {
          "type": "keyword"
        },
        "hobby": {
          "type": "text",
          "analyzer":"ik_max_word"
        }
      }
    }
 }
}

添加数据

接口 :POST http://192.168.12.10:9200/myindex2/person/_bulk
参数：

{"index":{"_index":"myindex2","_type":"person"}}
{"name":"张三","age": 20,"mail": "[email protected]","hobby":"羽毛球、乒乓球、足球"}
{"index":{"_index":"myindex2","_type":"person"}}
{"name":"李四","age": 21,"mail": "[email protected]","hobby":"羽毛球、乒乓球、足球、篮球"}
{"index":{"_index":"myindex2","_type":"person"}}
{"name":"王五","age": 22,"mail": "[email protected]","hobby":"羽毛球、篮球、游泳、听音乐"}
{"index":{"_index":"myindex2","_type":"person"}}
{"name":"赵六","age": 23,"mail": "[email protected]","hobby":"跑步、游泳、篮球"}
{"index":{"_index":"myindex2","_type":"person"}}
{"name":"孙七","age": 24,"mail": "[email protected]","hobby":"听音乐、看电影、羽毛球"}

数据如下：
Elasticsearch中文分词及全文检索

单词搜索

POST http://192.168.12.10:9200/myindex2/person/_search
参数：

{
"query":{
"match":{
"hobby":"音乐"
}
},
"highlight": {
    "fields": {
      "hobby": {}
   }
 }
}

查询出爱好包含音乐的两个用户

过程说明

检查字段类型
爱好 hobby 字段是一个 text 类型（指定了IK分词器），这意味着查询字符串本身也应该被分词。
分析查询字符串。
将查询的字符串 “音乐” 传入IK分词器中，输出的结果是单个项音乐。因为只有一个单词项，所以 match 查询执行的是单个底层 term 查询。
查找匹配文档
用 term 查询在倒排索引中查找 “音乐” 然后获取一组包含该项的文档，本例的结果是文档：3 、5 。
为每个文档评分
用 term 查询计算每个文档相关度评分 _score ，这是种将词频（term frequency，即词 “音乐” 在相关文档的hobby 字段中出现的频率）和反向文档频率（inverse document frequency，即词 “音乐” 在所有文档的hobby 字段中出现的频率），以及字段的长度（即字段越短相关度越高）相结合的计算方式

多词搜索

POST http://192.168.12.10:9200/myindex2/person/_search
参数：

{
"query":{
"match":{
"hobby":"音乐 篮球"
}
},
"highlight": {
    "fields": {
      "hobby": {}
   }
 }
}

可以看到，只要包含了“音乐”、“篮球” 中某一个的数据都被搜索到了。二者是或的关系。如果我们想搜索的是既包含“音乐”又包含“篮球”的用户，以指定词之间的逻辑关系，如下，这样就只查询出一个用户数据

{
"query":{
"match":{
"hobby":{
"query":"音乐 篮球",
"operator":"and"
}
}`在这里插入代码片`
},
"highlight": {
    "fields": {
      "hobby": {}
   }
 }
}

“OR” 和 “AND”搜索，这是两个极端，其实在实际场景中，并不会选取这2个极端，大多时候是只需要符合一定的相似度就可以查询到数据，在Elasticsearch中也支持这样的查询，通过minimum_should_match来指定匹配度，如：80%。

如下查询就只返回匹配度大于80%的数据4条数据

{
"query":{
"match":{
"hobby":{
"query":"游泳 羽毛球",
"minimum_should_match":"80%"
}
}
},
"highlight": {
    "fields": {
      "hobby": {}
   }
 }
}

组合搜索

可以通过bool组合查询如下:
查询必须包含篮球，不能包含音乐，如果包含了游泳，那么它的相似度更高的结果

{
"query":{
"bool":{
"must":{
"match":{
"hobby":"篮球"
}
},
"must_not":{
"match":{
"hobby":"音乐"
}
},
"should":[
{
"match": {
"hobby":"游泳"
}
}
]
}
},
"highlight": {
    "fields": {
      "hobby": {}
   }
 }
}

结果如下：

{
    "took": 46,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 2,
        "max_score": 1.8336569,
        "hits": [
            {
                "_index": "myindex2",
                "_type": "person",
                "_id": "cTw053IBd5Ym0N5fXExh",
                "_score": 1.8336569,
                "_source": {
                    "name": "赵六",
                    "age": 23,
                    "mail": "[email protected]",
                    "hobby": "跑步、游泳、篮球"
                },
                "highlight": {
                    "hobby": [
                        "跑步、<em>游泳</em>、<em>篮球</em>"
                    ]
                }
            },
            {
                "_index": "myindex2",
                "_type": "person",
                "_id": "bzw053IBd5Ym0N5fXExh",
                "_score": 0.50270504,
                "_source": {
                    "name": "李四",
                    "age": 21,
                    "mail": "[email protected]",
                    "hobby": "羽毛球、乒乓球、足球、篮球"
                },
                "highlight": {
                    "hobby": [
                        "羽毛球、乒乓球、足球、<em>篮球</em>"
                    ]
                }
            }
        ]
    }
}

bool 查询会为每个文档计算相关度评分 _score ，再将所有匹配的 must 和 should 语句的分数 _score 求和
must_not 语句不会影响评分；它的作用只是将不相关的文档排除。
默认情况下，should中的内容不是必须匹配的，如果查询语句中没有must，那么就会至少匹配其中一个。也可以通过minimum_should_match参数进行控制，该值可以是数字也可以的百分比.
如下should最好满足两个会被查询出

{
"query":{
"bool":{
"should":[
{
"match": {
"hobby":"游泳"
}
},
{
"match": {
"hobby":"篮球"
}
},
{
"match": {
"hobby":"音乐"
}
}
],
"minimum_should_match":2
}
},
"highlight": {
    "fields": {
      "hobby": {}
   }
 }
}

结果如下：

{
    "took": 24,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 2,
        "max_score": 2.135749,
        "hits": [
            {
                "_index": "myindex2",
                "_type": "person",
                "_id": "cDw053IBd5Ym0N5fXExh",
                "_score": 2.135749,
                "_source": {
                    "name": "王五",
                    "age": 22,
                    "mail": "[email protected]",
                    "hobby": "羽毛球、篮球、游泳、听音乐"
                },
                "highlight": {
                    "hobby": [
                        "羽毛球、<em>篮球</em>、<em>游泳</em>、听<em>音乐</em>"
                    ]
                }
            },
            {
                "_index": "myindex2",
                "_type": "person",
                "_id": "cTw053IBd5Ym0N5fXExh",
                "_score": 1.8336569,
                "_source": {
                    "name": "赵六",
                    "age": 23,
                    "mail": "[email protected]",
                    "hobby": "跑步、游泳、篮球"
                },
                "highlight": {
                    "hobby": [
                        "跑步、<em>游泳</em>、<em>篮球</em>"
                    ]
                }
            }
        ]
    }
}

权重

有些时候，我们可能需要对某些词增加权重来影响该条数据的得分:
搜索关键字为“游泳篮球”，如果结果中包含了“音乐”权重为10，包含了“跑步”权重为2，如下：

{
  "query": {
    "bool": {
      "must": {
        "match": {
          "hobby": {
            "query": "游泳篮球",
            "operator": "and"
         }
       }
     },

      "should": [
       {
          "match": {
            "hobby": {
              "query": "音乐",
              "boost": 10
           }
         }
       },
       {
          "match": {
            "hobby": {
              "query": "跑步",
              "boost": 2
           }
         }
       }
     ]
   }
 },
  "highlight": {
    "fields": {
      "hobby": {}
   }
 }
}

结果：

{
    "took": 46,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 2,
        "max_score": 9.484448,
        "hits": [
            {
                "_index": "myindex2",
                "_type": "person",
                "_id": "cDw053IBd5Ym0N5fXExh",
                "_score": 9.484448,
                "_source": {
                    "name": "王五",
                    "age": 22,
                    "mail": "[email protected]",
                    "hobby": "羽毛球、篮球、游泳、听音乐"
                },
                "highlight": {
                    "hobby": [
                        "羽毛球、<em>篮球</em>、<em>游泳</em>、听<em>音乐</em>"
                    ]
                }
            },
            {
                "_index": "myindex2",
                "_type": "person",
                "_id": "cTw053IBd5Ym0N5fXExh",
                "_score": 5.4279313,
                "_source": {
                    "name": "赵六",
                    "age": 23,
                    "mail": "[email protected]",
                    "hobby": "跑步、游泳、篮球"
                },
                "highlight": {
                    "hobby": [
                        "<em>跑步</em>、<em>游泳</em>、<em>篮球</em>"
                    ]
                }
            }
        ]
    }
}

上一篇： logstash-过滤ES数据到新的ES

下一篇： ELK的kibana通过nginx设置登录验证

Elasticsearch中文分词及全文检索

分词API

中文分词器 IK Analyzer

IKAnalyzer 插件安装

IKAnalyzer 插件测试

全文检索测试

准备数据

单词搜索

多词搜索

组合搜索

权重

I-team 博客全文检索 Elasticsearch 实战

Net Core使用Lucene.Net和盘古分词器实现全文检索

docker 部署 Elasticsearch kibana及ik分词器详解

干货 |《从Lucene到Elasticsearch全文检索实战》拆解实践

《从Lucene到Elasticsearch：全文检索实战》学习笔记三

ElasticSearch学习 - （八）安装中文分词器IK和拼音分词器

白话Elasticsearch28-IK中文分词器的安装和使用

Elasticsearch7.5配置IK中文分词器+拼音分词