欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

lucene学习笔记

程序员文章站 2022-05-17 09:30:09
...
lucene是基于java的全文搜索引擎框架

lucene的存储结构
lucene 其实很简单的,它最主要就是做两件事:建立索引和进行搜索

IndexWriter:lucene中最重要的的类之一,它主要是用来将文档加入索引,同时控制索引过程中的一些参数使用。
Analyzer:分析器,主要用于分析搜索引擎遇到的各种文本。常用的有StandardAnalyzer分析器,StopAnalyzer分析器,
WhitespaceAnalyzer分析器等。
Directory:索引存放的位置;lucene提供了两种索引存放的位置,一种是磁盘,一种是内存。一般情况将索引放在磁盘上;
相应地lucene提供了FSDirectory和RAMDirectory两个类。
Document:文档;Document相当于一个要进行索引的单元,任何可以想要被索引的文件都必须转化为Document对象才能进行索引。
Field:字段。
IndexSearcher:是lucene中最基本的检索工具,所有的检索都会用到IndexSearcher工具;
Query:查询,lucene中支持模糊查询,语义查询,短语查询,组合查询等等,如有TermQuery,BooleanQuery,RangeQuery,
WildcardQuery等一些类。
QueryParser: 是一个解析用户输入的工具,可以通过扫描用户输入的字符串,生成Query对象。
Hits:在搜索完成之后,需要把搜索结果返回并显示给用户,只有这样才算是完成搜索的目的。在lucene中,
搜索的结果的集合是用Hits类的实例来表示的。

对索引库的操作可以分为两种:管理与查询。管理索引库使用IndexWriter,从索引库中查询使用IndexSearcher。
Lucene的数据结构为Document与Field。Document代表一条数据,
Field代表数据中的一个属性。一个Document中有多个Field,Field的值为String型,因为Lucene只处理文本。

我们只需要把在我们的程序中的对象转成Document,就可以交给Lucene管理了,搜索的结果中的数据列表也是Document的集合。

lucene 的分词器
概念:将文本按规则切分为一个个可以进行索引的最小单位(关键词)
注意:在建立索引和搜索时都要用同一个分词器

英文分词器:
英文的工作过程如下:     a,of,the,     worked,working 变成work
输入文本-> 关键词切分 -> 去除停留字 -> 形态还原 -> 转为小写
中文分词器:
单个字分词:StandAnalyzer
两个字分词:CJKAnayzer
词典分词:按照某种算法构造词,然后就去匹配已经建立好的的词库中查找
,如果匹配到就切分为词语。MManalyzer(极易分词),庖丁分词
lucene 的查询
1.可以通过lucene的类似sql语法的字符串查询语法来查找
关键字查询-name:"hello"
范围查询- age:[18 TO 60],age:{18 TO 60},[]表示是包过边界值,而{}不包括,这里TO一定是大写
通配符查询- name:爱*,name:*爱*,name:我?
'?' 代表一个字符, '*' 代表0个或多个字符
短语查询- content: "?爱你??莉莉",content:"爱你莉莉"~2
2.通过Query的具体实现类的实例才实现查询

TermQuery 关键字查找
RangerQuery 范围查询
lucene 的排序
WildcardQuery 通配符查询
PhraseQuery 短语查询
1.lucene默认的相关度排序

每个Field,Document都一个boost值,用来计算相关度值


可以在搜索的时候指定field的boost
//设置field的boost值
Map<String, Float> boosts = new HashMap<String, Float>();
boosts.put("name", 3f);
// boosts.put("content", 1.0f); 默认为1.0f

在索引的时候指定boost值
Document doc = File2DocumentUtils.file2Document(filePath);
doc.setBoost(3f);
indexDao.save(doc);

Document doc2 = File2DocumentUtils.file2Document(filePath2);
// doc2.setBoost(1.0f);
2.自定义排序

// ========== 排序
Sort sort = new Sort();
sort.setSort(new SortField("size")); // 默认为升序
// sort.setSort(new SortField("size", true));//true表示降序

lucene过滤器的使用filter

filter会大大降低查询的效率,应该慎重使用

RangeFilter可以对搜索出来的结果过滤
Filter filter = new RangeFilter("size", NumberTools.longToString(200)
, NumberTools.longToString(1000), true, true);
TopDocs topDocs = indexSearcher.search(query, filter, 10000, sort);