IK分词器
什么是IK分词器
Ik分词器就是一款中文分词器。
分词:把一段文字划分成一个个关键字,我们在搜索的时候会对自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一个匹配操作。
默认的中文分词会将每个字看成一个词,比如“我是天才“会被分成 我、是、天、才,这显然是不符合要求的,可能我们需要分成 我、是、天才、我是天才,所以我们需要安装Ik分词器来解决这个问题。
如果要对中文进行分词,建议使用Ik分词器。
IK分词器提供了两个分词算法。
ik_smart :最少切分。
ik_max_word:最细粒度切分。
安装
GitHub地址:
https://github.com/medcl/elasticsearch-analysis-ik/
注意注意:
别下载下图的压缩包。
而是下载下面说明的地址的安装包:
https://github.com/medcl/elasticsearch-analysis-ik/releases
版本选择:
左边是IK的版本,右边是Es的版本。一般来说尽量就下载跟ES一样版本的IK就好。
第二步:
下载好之后,在es目录的plugins目录下新建一个ik目录,然后把压缩包复制进去,解压,最后重启ES即可。
可以使用命令:elasticsearch-plugin list 查看插件是否安装成功。
插件测试
这里就配合Kibana配置Rest风格的Api进行测试。
GET _analyze
{
"analyzer": "ik_smart", ###指定使用的分词器
"text": "美国留给伊拉克的是个烂摊子吗" ####要进行分词的内容
}
结果:
把“美国留给伊拉克的是个烂摊子吗”这段话进行分词,分为了若干个字、词,IK分词器会在内部维护一个词典,分词算法就是根据该词典作为基础进行分词,也可以手动添加自定义的词典。
添加自定义词典:
在ik/config目录下有个文件叫IKAnalyzer.cfg.xml的配置文件。
打开任意一个词典看看内容:
可以看出词典每个词占一行,由此,我们创建自己的词典文件。内容如下:
文件名为custom.dic
IKAnalyzer.cfg.xml文件内容
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<!-- 使用key来指定引用的字典的类型 -->
<!-- ext_dict表示配置本地扩展字典 -->
<!-- ext_stopwords表示配置扩展的停止词字典 -->
<!-- remote_ext_dict表示配置 远程扩展字典 -->
<!-- remote_ext_stopwords表示配置 远程扩展停止词字典 -->
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict"></entry>
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords"></entry>
<!--用户可以在这里配置远程扩展字典 -->
<!-- <entry key="remote_ext_dict">words_location</entry> -->
<!--用户可以在这里配置远程扩展停止词字典-->
<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>
我们一般配置本地字典。
重启es和Kibana。
再次测试分词情况:
同样的情况,与上面的结果不一样了,因为我们用字典配置了“美国留给伊拉克的是个烂摊子吗”是一个词。而ik_smart分词算法是最小切分算法,会把内容依据字典尽可能少进行切分,因为“美国留给伊拉克的是个烂摊子吗”已经是一个词了,所以就干脆不切分了。
ik_smart分词算法切割的词是不会重复的,比如分“我爱你呀” ,可能会切分成我爱 和你呀,但不会切分成 “我爱”、“爱你”、“呀”,因为我爱和爱你的爱字重复使用了,也就是一个字只会被切分到某个词上。把爱跟我组合了,那这个爱字就不会跟其他字组合了,仅仅是这个爱字,如果内容有多个爱字,那么其他爱字不会受影响。
使用ik_max_word分词算法进行分词。
该分词算法是最细粒度切分算法。
结果:
切分成了很多个词,并且会重复,该算法就是根据词典把所有的词都切分出来。
上一篇: java日常学习小问题处理(20201205-01)
下一篇: 数据结构与算法之稀疏数组
推荐阅读
-
Lucene05-分词器
-
Net Core使用Lucene.Net和盘古分词器 实现全文检索
-
docker 部署 Elasticsearch kibana及ik分词器详解
-
ElasticSearch 5.5 离线环境的完整安装及配置详情,附kibana、ik插件配置及安装包下载路径
-
Laravel个人博客集成Elasticsearch和ik分词
-
ElasticSearch 分词器
-
Lucene-分词器简介及IK分词器的使用
-
docker 安装(6.x单机)elasticsearch、elasticsearch-head、ik分词器
-
基于字典树的前向/后向分词器
-
ek插件------ik中文分词器的使用