欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  资讯频道

word v1.3.1 发布,Java 分布式中文分词组件

程序员文章站 2022-05-12 21:00:58
...

word 分词是一个Java实现的分布式的中文分词组件,提供了多种基于词典的分词算法,并利用ngram模型来消除歧义。能准确识别英文、数字,以及日期、时间等数量词,能识别人名、地名、组织机构名等未登录词。能通过自定义配置文件来改变组件行为,能自定义用户词库、自动检测词库变化、支持大规模分布式环境,能灵活指定多种分词算法,能使用refine功能灵活控制分词结果,还能使用词性标注、同义标注、反义标注、拼音标注等功能。同时还无缝和Lucene、Solr、ElasticSearch、Luke集成。

 

word 1.3.1这个版本是从代码分支ForElasticsearch1.7.2中编译出来的,主要目的是支持与

lucene4.10.4、solr4.10.4和elasticsearch1.7.2兼容的版本。

 

word 分词的分词效果怎么样?请看:Java开源项目cws_evaluation:中文分词器分词效果评估