Lucene快速入门(一)
一、理论知识准备
1.Lucene的定义
Lucene是一个由java实现的开源的全文检索引擎工具包,是一个高性能、可伸缩的信息搜索(IR)库,它可以为你的应用程序添加索引和搜索能力。
2.什么是全文检索
全文检索是计算机索引程序通过扫描文章中的每一个词,对每一个词建立一个索引,指明该词在文章中出现的次数和位置,当用户查询时,类似于根据字典的索引查字过程。
3.全文检索两个必要步骤
(1)建立索引:将信息按照一定的索引规则进行编排并存储。
(2)搜索索引:根据用户查询要求,对索引文件进行搜索并返回结果给用户。
4.Lucene具有的特点
(1)索引文件格式独立于应用平台,Lucene自定义了一套以8位字节为基础的索引文件格式,使得它能在不同的应用平台共享所建立的索引文件。
(2)在传统全文检索引擎的倒排序基础上,实现了分块索引,对新文档(Document)建立小文件索引,提升索引速度。但同时支持与原索引文件进行合并优化。
(3)设计了可以供用户设计的分词器接口,解决了不同应用分词需求不同的问题。
(4)具有高性能的创建索引与搜索实现。
二、Lucene入门实例:创建索引
1.准备环境
Lucene3.0 安装包、JDK1.5以上、Junit3.8以上(可以使用myeclipse自带的Junit4)。
2.第一个实例
步骤一、建立lucene_01_base java Project,导入以下jar包:
lucene-core-3.0.0.jar : lucene核心jar包
lucene-analyzers-3.0.0.jar: 分词器jar包
lucene-highlighter-3.0.0.jar: 查询关键字高亮器
步骤二、准备要被索引的文档data.txt,内容如下:
This is my first lucene ,I love Lucene。 I got a book about lucene last week。 关于lucene的介绍,Lucene是一个高效的,基于Java的全文检索库。如果你还未对lucene产生兴趣,我们建议您继续了解搜索相关的知识及应用场景。 这是我的第一次关于lucene的练习。 |
步骤三、建立BaseDemo类,代码如下:
public class BaseDemo {
private String srcDoc = "E:\\workspace\\lucene_01_base\\lib\\data.txt"; // 被索引的源文档
private String indexDir = "E:\\workspace\\lucene_01_base\\luceneIndex"; // 索引保存路径
private Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_30); // 分词器
@Test
public void createIndex() throws CorruptIndexException, LockObtainFailedException, IOException {
// 1.创建Document对象,并完成相应的分词处理
File file = new File(srcDoc);
Document doc = new Document();
doc.add(new Field("fileName", file.getName(), Store.YES, Index.ANALYZED)); // 索引并分词
doc.add(new Field("fileSize", String.valueOf(file.length()), Store.YES, Index.NOT_ANALYZED)); // 索引,但不分词
doc.add(new Field("fileContent", readContent(file), Store.YES, Index.ANALYZED)); // 索引并分词
doc.add(new Field("filePath", file.getAbsolutePath(), Store.YES, Index.NO)); // 索引,但不分词
// 2.创建索引
IndexWriter iw = new IndexWriter(FSDirectory.open(new File(indexDir)), analyzer, true,MaxFieldLength.LIMITED);
// true:如果没有此目录,则创建此目录,如果有,删除原索引文件并重建索引。false不会创建目录,因而如果我们开始未创建好目录则会报错。
iw.addDocument(doc);
iw.close();
// 执行完成后会在luceneIndex路径下创建三类文件:cfs、segments、gen文件
}
}
简要分析创建索引的关键步骤:一是根据源文件建立Document对象(比如此例中我们对文件的名字、大小、内容、路径都建立了索引相应的字段域)、二是创建IndexWriter对象并添加Document对象。readContent方法就是根据一个File参数来读出文件中的内容并返回,代码如下(未对IO流进行关闭处理):
private String readContent(File file) throws IOException {
BufferedReader reader = new BufferedReader(new InputStreamReader(new FileInputStream(file)));
String s = reader.readLine();
StringBuffer content = new StringBuffer();
while (s != null) {
content.append(s);
s = reader.readLine();
}
return content.toString();
}
步骤四、执行完成后可以发现在索引目录下创建了三类文件:一是cfs文件、二是gen文件、三是segments_N文件。
详细分析细节过程:在分析前我们应明确lucene索引文件的基本层次结构:索引段、文档、字段域、词。下面我们结合上面的实例来具体分析:
字段域的创建:字段域就是把一个源文件的所有信息进行分类处理,比如在上面实例中,我们把文件信息分为四类字段域:一是文件名、二是文件大小、三是文件内容、四是文件的存储路径。例子中用到的字段域Field构造方法参数解析:
Field(String name, String value,Field.Store store,Field.Index index)
name |
字段域名称 |
value |
字段域的值 |
store |
是否把此字段域存储进索引 |
index |
字段域的值是否进行分词处理 |
结合此构造方法解读词:词就是一个字串,更具体地说是经过分词处理后的字串。比如在上面的构造方法中value作为“源词”,当它经过index处理后便可称之为“词”。词具有两个基本信息:一是它所属的字段域,二是它的具体内容。从这个意义上讲即使两个词的内容完全相同,但是只要所属的域不同,它们则属于两个不同的词。
文档的创建:文档对象由字段域对象组成,创建时只需把字段域对象添加进文档即可。因而文档对象实质就是字段域的合并。
索引段的创建:索引段由文档对象组成,创建索引段也同样只需对文档对象进行添加操作即可。索引段的创建依赖于IndexWriter对象,此对象的主要作用就是把文档添加到索引中建立索引段,实现索引的创建。例子中用到的IndexWriter构造方法参数解析:
IndexWriter
(Directory d,Analyzer a,boolean create, IndexWriter.MaxFieldLength mfl)
d |
索引的保存目录 |
a |
使用的分词器 |
create |
是否自动创建索引目录 |
mfl |
索引中域的长度(词的总数) |
实例总结:(1)索引创建过程:基于词创建字段域,把字段域添加文档,把文档添加进索引段。(2)索引实质就是由不同的索引段构造,或者说在索引目录中保存了许许多多的索引段。(3)cfs文件就是一种复合后的索引文件,它持有所有索引文件的句柄(引用),以便进行频繁的索引操作,而gen和segment_N文件记录了索引段的基本元信息。
3.优化索引创建
优化思路:Lucene除了支持在硬盘中建立索引目录外,还支持在内存中建立索引目录。因此我们利用内存读写速度快于硬盘来优化索引的创建。主要操作过程:首先把硬盘上的索引读到内存索引目录中,然后在内存中进行索引操作,操作完成后再把内存索引写回到硬盘索引中去。优化后的代码如下:
public void createIndexBetter() throws IOException {
// 创建Document对象,并完成相应的分词处理
File file = new File(srcDoc);
Document doc = new Document();
doc.add(new Field("fileName", file.getName(), Store.YES, Index.ANALYZED)); // 索引并分词
doc.add(new Field("fileSize", String.valueOf(file.length()), Store.YES, Index.NOT_ANALYZED)); // 索引,但不分词
doc.add(new Field("fileContent", readContent(file), Store.YES, Index.ANALYZED)); // 索引并分词
doc.add(new Field("filePath", file.getAbsolutePath(), Store.YES, Index.NO)); // 不索引,也不分词
// 步骤一,把硬盘中的索引目录读到内存中去
FSDirectory fsDir = FSDirectory.open(new File(indexDir));
RAMDirectory ramDir = new RAMDirectory(fsDir);
IndexWriter ramIndexWriter = new IndexWriter(ramDir, analyzer, false, MaxFieldLength.UNLIMITED);
// 步骤二,直接对内存中的索引目录进行操作,这样比操作硬盘上的索引目录快很多。
ramIndexWriter.addDocument(doc);
ramIndexWriter.close(); // 关闭资源,使得Document对象添加到内存索引中去。
// 步骤三,操作完成后把内存中的索引目录写回到硬盘中去
IndexWriter fsIndexWriter = new IndexWriter(fsDir, analyzer, true, MaxFieldLength.UNLIMITED);
// 强调:是否重建索引目录的boolean型标志默认为false,即不重建索引目录,如果我们这里不重建目录,它会把内存中的索引再添加到硬盘上的索引中去,这样就会造成索引重复,因为内存中的索引本身就是从硬盘中的索引中读出得。
fsIndexWriter.addIndexesNoOptimize(new Directory[] { ramDir });
// 经过一系列的索引添加操作,可能会产生很多小的cfs文件,而如果文件数量过多,会对性能产生影响,所以我们会使用下面的操作进行优化, 以保证合并这些小的cfs文件.
fsIndexWriter.commit();
// 刷出缓存中的索引,准备优化。原始的fsIndexWriter.flush()被标记为过时
fsIndexWriter.optimize(); // 优化创建的索引文件
fsIndexWriter.close();
}
概括要点:(1)如何把硬盘索引目录转换成内存索引目录。(2)如何把内存索引目录中的文件写回到硬盘中去。(3)如何避免内存中索引文件写回时与硬盘索引目录的中索引文件重复。(4)合并小的cfs文件并注意在适当的时候关闭IndexWriter对象释放资源。
思考:这样就实现了优化吗。优化的思想中提到的关键句:“内存读写速度快于硬盘来优化索引的创建”。如果频繁地使用addDocument方法,即是说在步骤二中addDocument方法会被执行多次,我们可以内存读写速度快的特点来进行优化。应用场景:一是当我们对多个Document对象进行添加操作时,我们可以利用此方法创建索引;二是合并多个硬盘索引目录也可仿照此方法:首先构建一个基于内存索引目录的IndexWriter对象,然后调用addIndexesNoOptimize方法添加硬盘目录中的索引到内存索引中去,最后再把内存中的索引写回到硬盘中去。
下一篇: 维吉尼亚密码算法