欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

IK分词器

程序员文章站 2022-07-09 15:45:28
...
什么是IK分词器

Ik分词器就是一款中文分词器。
分词:把一段文字划分成一个个关键字,我们在搜索的时候会对自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一个匹配操作。

默认的中文分词会将每个字看成一个词,比如“我是天才“会被分成 我、是、天、才,这显然是不符合要求的,可能我们需要分成 我、是、天才、我是天才,所以我们需要安装Ik分词器来解决这个问题。

如果要对中文进行分词,建议使用Ik分词器。

IK分词器提供了两个分词算法。
ik_smart :最少切分。
ik_max_word:最细粒度切分。

安装

GitHub地址:
https://github.com/medcl/elasticsearch-analysis-ik/

注意注意:
别下载下图的压缩包。
IK分词器

而是下载下面说明的地址的安装包:
IK分词器
https://github.com/medcl/elasticsearch-analysis-ik/releases

版本选择:
IK分词器
左边是IK的版本,右边是Es的版本。一般来说尽量就下载跟ES一样版本的IK就好。

第二步:
下载好之后,在es目录的plugins目录下新建一个ik目录,然后把压缩包复制进去,解压,最后重启ES即可。
IK分词器

可以使用命令:elasticsearch-plugin list 查看插件是否安装成功。
IK分词器

插件测试

这里就配合Kibana配置Rest风格的Api进行测试。

GET _analyze
{
  "analyzer": "ik_smart",    ###指定使用的分词器
  "text": "美国留给伊拉克的是个烂摊子吗"   ####要进行分词的内容
}

结果:
IK分词器
把“美国留给伊拉克的是个烂摊子吗”这段话进行分词,分为了若干个字、词,IK分词器会在内部维护一个词典,分词算法就是根据该词典作为基础进行分词,也可以手动添加自定义的词典。

添加自定义词典:

在ik/config目录下有个文件叫IKAnalyzer.cfg.xml的配置文件。
IK分词器
IK分词器
打开任意一个词典看看内容:
IK分词器
可以看出词典每个词占一行,由此,我们创建自己的词典文件。内容如下:
IK分词器
文件名为custom.dic

IKAnalyzer.cfg.xml文件内容

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>

	<!-- 使用key来指定引用的字典的类型   -->
	<!-- ext_dict表示配置本地扩展字典   -->
	<!-- ext_stopwords表示配置扩展的停止词字典   -->
	<!-- remote_ext_dict表示配置 远程扩展字典  -->
	<!-- remote_ext_stopwords表示配置 远程扩展停止词字典  -->
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict"></entry>
	 <!--用户可以在这里配置自己的扩展停止词字典-->
	<entry key="ext_stopwords"></entry>
	<!--用户可以在这里配置远程扩展字典 -->
	<!-- <entry key="remote_ext_dict">words_location</entry> -->
	<!--用户可以在这里配置远程扩展停止词字典-->
	<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

我们一般配置本地字典。

IK分词器

重启es和Kibana。

再次测试分词情况:
IK分词器
同样的情况,与上面的结果不一样了,因为我们用字典配置了“美国留给伊拉克的是个烂摊子吗”是一个词。而ik_smart分词算法是最小切分算法,会把内容依据字典尽可能少进行切分,因为“美国留给伊拉克的是个烂摊子吗”已经是一个词了,所以就干脆不切分了。

ik_smart分词算法切割的词是不会重复的,比如分“我爱你呀” ,可能会切分成我爱 和你呀,但不会切分成 “我爱”、“爱你”、“呀”,因为我爱和爱你的爱字重复使用了,也就是一个字只会被切分到某个词上。把爱跟我组合了,那这个爱字就不会跟其他字组合了,仅仅是这个爱字,如果内容有多个爱字,那么其他爱字不会受影响。

使用ik_max_word分词算法进行分词。

该分词算法是最细粒度切分算法。
结果:
IK分词器
切分成了很多个词,并且会重复,该算法就是根据词典把所有的词都切分出来。