欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Lucene4.3开发之插曲之烽火连城

程序员文章站 2022-05-17 11:34:41
...
转载请注明,原创地址,谢谢配合!
http://qindongliang1922.iteye.com/blog/1938234




上次散仙给大家总结了Lucene中,一些常用Filter的用法和例子,今天,我们在来看下不在Filter家族中的一个特殊的filter,属于Lucene捐赠模块的特殊包中的类DuplicateFilter,这个filter的作用是用来对某个字段进行去重操作的,类似数据库中的Distinct关键字,可以实现对某个列的结果集去重,这个去重的字段,一般情况下是不建议分词的,因为分词后,可能去重效果不准确.


举个例子,来说明分词后去重,会造成什么情况,假如我们的索引name一列中有中国,和伟大的中国,那么就对这个name列去重后,就会发现lucene只保留了伟大的中国这个字段,为什么呢?因为切词后伟大的中国会被分成伟大|的|中国,进行去重时,Lucene认为中国是重复的,而伟大的中国是不重复的,又因为伟大的中国里包含中国,所以最后的结果就会只保留伟大的中国,而没有中国。所以无论使用这个过滤器去重,还是使用grouping或fact去重,大多数情况下操作的字段是不能分词的,这一点需要注意!


下面我们来具体看下DuplicateFilter这个特殊的过滤器,怎么使用。在这之前我们先来看下我们简单的测试数据.

name===type
a===>中国
a===>法国
b===>中国
c===>英国
d===>英国
b===>英国


分别对对name和type去重后的效果(注意一次只能去重一个字段)
a
c
d
b

法国
中国
英国


下面给出具体的代码实现,需要额外导入的包
org.apache.lucene.sandbox.queries

核心代码
            //群交流 324714439
            //String field="name";
		              String field="type";
				  DuplicateFilter filter=new DuplicateFilter(field);//去重过滤
				  Query q=new MatchAllDocsQuery();//对所有结果去重
				  TopDocs s=search.search(q, filter, 100);


可以看出,核心的代码量很少,却可以高效的完成去重工作,去重技术在我们的实际运用中也是一项很常用的技术,有时候我们可能只需要查看不重复的记录,而没有一些类似统计的功能,如果需要去重并统计个数,那么就需要使用分组功能或分面功能了,当然,如果我们只需要简单的对字段去重,那么就可以使用DuplicateFilter简洁高效的来完成这项任务。


转载请注明,原创地址,谢谢配合!
http://qindongliang1922.iteye.com/blog/1938234