欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

发布IKAnalyzer中文分词器V3.1.6GA

程序员文章站 2024-02-21 23:21:04
...
[color=red]IKAnalyzer3.2.0稳定版已经发布,支持Lucene3.0和solr1.4[/color]
链接:[url]http://www.iteye.com/topic/542987[/url]

[b][size=large]V3.1.1GA -- V3.1.5GA 版本变更一览[/size][/b]
[list]
[*]1.添加“正向最大切分算法”。
[*]2.完善IK Analyzer对solr1.3版本的集成支持
[*]3.改进对文件名、邮件地址、英文数字混合字串的切分算法
[*]4.新增对停止词(stopword)的自定义扩展
[*]5.支持对JDK1.5的版本的集成
[/list]


[b][size=large]V3.1.6GA版本变更:[/size][/b]
新增IK Analyzer对solr1.4版本的集成支持

[b]1.新增org.wltea.analyzer.solr.IKTokenizerFactory14,支持solr1.4的TokenizerFactory接口配置[/b]

 类org.wltea.analyzer.solr.IKTokenizerFactory14
说明:该类继承与solr1.4的BaseTokenizerFactory,是IK分词器对solr1.4项目TokenizerFactory接口的扩展实现。从版本V3.1.6起。
属性:isMaxWordLength。该属性决定分词器是否采用最大词语切分。

[b]solr1.4配置样例[/b]
使用IKAnalyzer的配置
<schema name="example" version="1.1">
……
<fieldType name="text" class="solr.TextField">
<analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>
……
</schema>


使用IKTokenizerFactory14的配置
<fieldType name="text" class="solr.TextField" >
<analyzer type="index">
<tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory14" isMaxWordLength="false"/>
……

</analyzer>
<analyzer type="query">
<tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory14" isMaxWordLength="true"/>
……
</analyzer>
</fieldType>


下载 :[url=http://ik-analyzer.googlecode.com/files/IKAnalyzer3.1.6GA_AllInOne.rar]IKAnalyzer3.1.6GA完整包[/url]

更多详细请参看[url=http://ik-analyzer.googlecode.com/files/IKAnalyzer%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E5%99%A8V3.1.6%E4%BD%BF%E7%94%A8%E6%89%8B%E5%86%8C.pdf]《IKAnalyzer中文分词器V3.1.6使用手册》[/url]