lucene学习笔记

lucene是基于java的全文搜索引擎框架

lucene的存储结构
lucene 其实很简单的,它最主要就是做两件事:建立索引和进行搜索

IndexWriter:lucene中最重要的的类之一，它主要是用来将文档加入索引，同时控制索引过程中的一些参数使用。
Analyzer:分析器,主要用于分析搜索引擎遇到的各种文本。常用的有StandardAnalyzer分析器,StopAnalyzer分析器,
WhitespaceAnalyzer分析器等。
Directory:索引存放的位置;lucene提供了两种索引存放的位置，一种是磁盘，一种是内存。一般情况将索引放在磁盘上；
相应地lucene提供了FSDirectory和RAMDirectory两个类。
Document:文档;Document相当于一个要进行索引的单元，任何可以想要被索引的文件都必须转化为Document对象才能进行索引。
Field：字段。
IndexSearcher:是lucene中最基本的检索工具，所有的检索都会用到IndexSearcher工具;
Query:查询，lucene中支持模糊查询，语义查询，短语查询，组合查询等等,如有TermQuery,BooleanQuery,RangeQuery,
WildcardQuery等一些类。
QueryParser: 是一个解析用户输入的工具，可以通过扫描用户输入的字符串，生成Query对象。
Hits:在搜索完成之后，需要把搜索结果返回并显示给用户，只有这样才算是完成搜索的目的。在lucene中，
搜索的结果的集合是用Hits类的实例来表示的。

对索引库的操作可以分为两种：管理与查询。管理索引库使用IndexWriter，从索引库中查询使用IndexSearcher。
Lucene的数据结构为Document与Field。Document代表一条数据，
Field代表数据中的一个属性。一个Document中有多个Field，Field的值为String型，因为Lucene只处理文本。

我们只需要把在我们的程序中的对象转成Document，就可以交给Lucene管理了，搜索的结果中的数据列表也是Document的集合。

lucene 的分词器
概念：将文本按规则切分为一个个可以进行索引的最小单位（关键词）
注意：在建立索引和搜索时都要用同一个分词器

英文分词器：
英文的工作过程如下：     a,of,the,     worked,working 变成work
输入文本-> 关键词切分 -> 去除停留字 -> 形态还原 -> 转为小写
中文分词器：
单个字分词：StandAnalyzer
两个字分词：CJKAnayzer
词典分词：按照某种算法构造词，然后就去匹配已经建立好的的词库中查找
，如果匹配到就切分为词语。MManalyzer(极易分词),庖丁分词
lucene 的查询
1.可以通过lucene的类似sql语法的字符串查询语法来查找
关键字查询-name:"hello"
范围查询- age:[18 TO 60],age:{18 TO 60},[]表示是包过边界值，而{}不包括，这里TO一定是大写
通配符查询- name:爱*,name:*爱*,name:我?
'?' 代表一个字符， '*' 代表0个或多个字符
短语查询- content: "?爱你？？莉莉",content:"爱你莉莉"~2
2.通过Query的具体实现类的实例才实现查询

TermQuery 关键字查找
RangerQuery 范围查询
lucene 的排序
WildcardQuery 通配符查询
PhraseQuery 短语查询
1.lucene默认的相关度排序

每个Field，Document都一个boost值，用来计算相关度值


可以在搜索的时候指定field的boost
//设置field的boost值
Map<String, Float> boosts = new HashMap<String, Float>();
boosts.put("name", 3f);
// boosts.put("content", 1.0f); 默认为1.0f

在索引的时候指定boost值
Document doc = File2DocumentUtils.file2Document(filePath);
doc.setBoost(3f);
indexDao.save(doc);

Document doc2 = File2DocumentUtils.file2Document(filePath2);
// doc2.setBoost(1.0f);
2.自定义排序

// ========== 排序
Sort sort = new Sort();
sort.setSort(new SortField("size")); // 默认为升序
// sort.setSort(new SortField("size", true));//true表示降序

lucene过滤器的使用filter

filter会大大降低查询的效率，应该慎重使用

RangeFilter可以对搜索出来的结果过滤
Filter filter = new RangeFilter("size", NumberTools.longToString(200)
, NumberTools.longToString(1000), true, true);
TopDocs topDocs = indexSearcher.search(query, filter, 10000, sort);