IKAnalyzer - 开源中文分词器

https://code.google.com/archive/p/ik-analyzer/

源项目作者 [email protected] 已不再维护，个人可以fork项目进行修改，github地址：GitHub - wks/ik-analyzer: No longer maintained. Please contact the origional author.

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的 IKAnalyzer3.0则发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。

在2012版本中，IK实现了简单的分词歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化。

IK Analyzer 2012特性:

1.采用了特有的“正向迭代最细粒度切分算法“，支持 细粒度 和 智能分词 两种切分模式；

2.在系统环境：Core2 i7 3.4G双核，4G内存，window 7 64位， Sun JDK 1.6_29 64位 普通pc环境测试，IK2012具有160万字/秒（3000KB/S）的高速处理能力。

3.2012版本的智能分词模式支持简单的分词排歧义处理和数量词合并输出。

4.采用了多子处理器分析模式，支持：英文字母、数字、中文词汇等分词处理，兼容韩文、日文字符

5.优化的词典存储，更小的内存占用。支持用户词典扩展定义。特别的，在2012版本，词典支持中文，英文，数字混合词语。

Maven依赖：

 <!-- https://mvnrepository.com/artifact/com.janeluo/ikanalyzer -->
        <dependency>
            <groupId>com.janeluo</groupId>
            <artifactId>ikanalyzer</artifactId>
            <version>2012_u6</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.lucene</groupId>
                    <artifactId>lucene-core</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.lucene</groupId>
                    <artifactId>lucene-queryparser</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.lucene</groupId>
                    <artifactId>lucene-analyzers-common</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

或

<!-- https://mvnrepository.com/artifact/org.wltea.analyzer/IKAnalyzer -->
<dependency>
    <groupId>org.wltea.analyzer</groupId>
    <artifactId>IKAnalyzer</artifactId>
    <version>2012_u6</version>
</dependency>

历史版本：

File	Summary + Labels	Uploaded	Size
IK Analyzer 2012FF_hf1_source.rar	IK Analyer 2012-FF Hotfix 1 源码  Type-Archive  OpSys-All  Ver 2012 FF hf1	Dec 21, 2012	1.02MB
IK Analyzer 2012_u6_source.rar	IK Analyer 2012 upgrade 6 源码  Type-Source  OpSys-All  version 2012 u6	Dec 21, 2012	1.02MB
IKAnalyzer2012_u6.zip	IK Analyer 2012 完整分发包 upgrade 6  Type-Archive  OpSys-All  version 2012 u6  For Lucene 3.x / Solr3.x	Oct 29, 2012	2.04MB
IK Analyzer 2012FF_hf1.zip	IK Analyer 2012-FF hotfix 1 完整分发包  Type-Archive  OpSys-All  version 2012FF hotfix1  For lucene4.0 / solr 4.0	Oct 26, 2012	2.05MB
IK Analyzer 2012 FF_SRC.rar	IK Analyer 2012-FF 源码  Type-Source  OpSys-All  Ver 2012 FF	Oct 23, 2012	1.02MB
IK Analyzer 2012_u5_source.zip	IK Analyer 2012 upgrade 5 源码  Type-Source  OpSys-All  version 2012 u5	May 8, 2012	1.12MB
IKAnalyzer2012_u5.zip	IK Analyer 2012 完整分发包 upgrade 5  Type-Archive  OpSys-All  version 2012 u5	May 8, 2012	2.05MB
IKAnalyzer2012_u4.zip	IK Analyer 2012 完整分发包 upgrade 4  Type-Archive  OpSys-All  Ver 2012 u4	Mar 26, 2012	2.04MB
IKAnalyzer2012_u3.zip	IK Analyer 2012 完整分发包 upgrade 3  Type-Archive  OpSys-All  Ver 2012 u3	Mar 16, 2012	2.04MB
IKAnalyzer2012_u2.zip	IK Analyer 2012 完整分发包 upgrade 2  Type-Archive  OpSys-All  Ver 2012 u2	Mar 15, 2012	2MB
IKAnalyzer2012_u1.zip	IK Analyer 2012 分发包 upgrade 1  Type-Archive  OpSys-All  Ver 2012 u1	Mar 15, 2012	2MB
IKAnalyzer中文分词器V2012使用手册.pdf	IK Analyzer 2012 使用说明手册  Type-Docs  OpSys-All  Ver 2012 1st	Mar 8, 2012	828.15KB
IKAnalyzer2012.zip	IK Analyzer 2012 完整下载包（含api及说明文档）  Type-Archive  OpSys-All  Ver 2012 1st	Mar 8, 2012	2MB
IKAnalyzer2012_SRC.rar	IK Analyzer 2012源码包  Type-Source  OpSys-All  Ver 2012	Mar 8, 2012	1.02MB
IKAnalyzer中文分词器V3.2.8使用手册.pdf	IKAnalyzer中文分词器V3.2.8使用手册.pdf  Type-Docs  OpSys-All  v3.2.8	Mar 11, 2011	739.23KB
IKAnalyzer3.2.8 bin.zip	IKAnalyzer3.2.8 bin.zip  Type-Archive  OpSys-All  V3.2.8	Mar 4, 2011	1.98MB
IKAnalyzer3.2.8 source.zip	IKAnalyzer3.2.8源码  Type-Source  OpSys-All  V3.2.8	Mar 4, 2011	1.14MB
IKAnalyzer3.2.5Stable_src.zip	IKAnalyzer3.2.5Stable_src.zip 源码包  Type-Source  OpSys-All  version 3.2.5	Sep 8, 2010	1.14MB
IKAnalyzer3.2.5Stable_bin.zip	IKAnalyzer3.2.5Stable_bin.zip 发布包  Type-Archive  OpSys-All  version3.2.5	Sep 8, 2010	1.74MB
IKAnalyzer3.2.3Stable_src.rar	IKAnalyzer3.2.3稳定版源代码  Type-Source  OpSys-All  version 3.2.3	May 15, 2010	1.02MB