欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Lucene快速入门(一)

程序员文章站 2022-07-08 20:34:22
...

一、理论知识准备

1Lucene的定义

Lucene是一个由java实现的开源的全文检索引擎工具包,是一个高性能、可伸缩的信息搜索(IR)库,它可以为你的应用程序添加索引和搜索能力。

2.什么是全文检索

全文检索是计算机索引程序通过扫描文章中的每一个词,对每一个词建立一个索引,指明该词在文章中出现的次数和位置,当用户查询时,类似于根据字典的索引查字过程。

3.全文检索两个必要步骤

1)建立索引:将信息按照一定的索引规则进行编排并存储。

2)搜索索引:根据用户查询要求,对索引文件进行搜索并返回结果给用户。

4Lucene具有的特点

1)索引文件格式独立于应用平台,Lucene自定义了一套以8位字节为基础的索引文件格式,使得它能在不同的应用平台共享所建立的索引文件。

2)在传统全文检索引擎的倒排序基础上,实现了分块索引,对新文档(Document)建立小文件索引,提升索引速度。但同时支持与原索引文件进行合并优化。
3)设计了可以供用户设计的分词器接口,解决了不同应用分词需求不同的问题。

4)具有高性能的创建索引与搜索实现。

 

二、Lucene入门实例:创建索引

1准备环境

Lucene3.0 安装包、JDK1.5以上、Junit3.8以上(可以使用myeclipse自带的Junit4)。

2.第一个实例

步骤一、建立lucene_01_base java Project,导入以下jar包:

lucene-core-3.0.0.jar          lucene核心jar

lucene-analyzers-3.0.0.jar      分词器jar

lucene-highlighter-3.0.0.jar     查询关键字高亮器

 

步骤二、准备要被索引的文档data.txt,内容如下:

This is my first lucene ,I love Lucene I got a book about lucene last week

关于lucene的介绍,Lucene是一个高效的,基于Java的全文检索库。如果你还未对lucene产生兴趣,我们建议您继续了解搜索相关的知识及应用场景。  这是我的第一次关于lucene的练习。

 

步骤三、建立BaseDemo类,代码如下:

 

 

public class BaseDemo {
	private String srcDoc = "E:\\workspace\\lucene_01_base\\lib\\data.txt"; // 被索引的源文档
	private String indexDir = "E:\\workspace\\lucene_01_base\\luceneIndex"; // 索引保存路径
	private Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_30); // 分词器

	@Test
	public void createIndex() throws CorruptIndexException, LockObtainFailedException, IOException {
		// 1.创建Document对象,并完成相应的分词处理
		File file = new File(srcDoc);
		Document doc = new Document();
		doc.add(new Field("fileName", file.getName(), Store.YES, Index.ANALYZED)); // 索引并分词
		doc.add(new Field("fileSize", String.valueOf(file.length()), Store.YES, Index.NOT_ANALYZED)); // 索引,但不分词
		doc.add(new Field("fileContent", readContent(file), Store.YES, Index.ANALYZED)); // 索引并分词
		doc.add(new Field("filePath", file.getAbsolutePath(), Store.YES, Index.NO)); // 索引,但不分词

		// 2.创建索引
		IndexWriter iw = new IndexWriter(FSDirectory.open(new File(indexDir)), analyzer, true,MaxFieldLength.LIMITED); 
// true:如果没有此目录,则创建此目录,如果有,删除原索引文件并重建索引。false不会创建目录,因而如果我们开始未创建好目录则会报错。
		iw.addDocument(doc);
		iw.close();
		// 执行完成后会在luceneIndex路径下创建三类文件:cfs、segments、gen文件
	}
}

    简要分析创建索引的关键步骤:一是根据源文件建立Document对象(比如此例中我们对文件的名字、大小、内容、路径都建立了索引相应的字段域)、二是创建IndexWriter对象并添加Document对象。readContent方法就是根据一个File参数来读出文件中的内容并返回,代码如下(未对IO流进行关闭处理):

 

 

 

 

private String readContent(File file) throws IOException {
	BufferedReader reader = new BufferedReader(new InputStreamReader(new FileInputStream(file)));
	String s = reader.readLine();
	StringBuffer content = new StringBuffer();
	while (s != null) {
		content.append(s);
		s = reader.readLine();
	}
	return content.toString();
}

 

步骤四、执行完成后可以发现在索引目录下创建了三类文件:一是cfs文件、二是gen文件、三是segments_N文件。

详细分析细节过程:在分析前我们应明确lucene索引文件的基本层次结构:索引段、文档、字段域、词。下面我们结合上面的实例来具体分析:

字段域的创建:字段域就是把一个源文件的所有信息进行分类处理,比如在上面实例中,我们把文件信息分为四类字段域:一是文件名、二是文件大小、三是文件内容、四是文件的存储路径。例子中用到的字段域Field构造方法参数解析:
Field(String name, String value,Field.Store store,Field.Index index)

 

name

字段域名称

value

字段域的值

store

是否把此字段域存储进索引

index

字段域的值是否进行分词处理

结合此构造方法解读词:词就是一个字串,更具体地说是经过分词处理后的字串。比如在上面的构造方法中value作为“源词”,当它经过index处理后便可称之为“词”。词具有两个基本信息:一是它所属的字段域,二是它的具体内容。从这个意义上讲即使两个词的内容完全相同,但是只要所属的域不同,它们则属于两个不同的词。

文档的创建:文档对象由字段域对象组成,创建时只需把字段域对象添加进文档即可。因而文档对象实质就是字段域的合并。

索引段的创建:索引段由文档对象组成,创建索引段也同样只需对文档对象进行添加操作即可。索引段的创建依赖于IndexWriter对象,此对象的主要作用就是把文档添加到索引中建立索引段,实现索引的创建。例子中用到的IndexWriter构造方法参数解析:

IndexWriter(Directory d,Analyzer a,boolean create, IndexWriter.MaxFieldLength mfl) 

d

索引的保存目录

a

使用的分词器

create

是否自动创建索引目录

mfl

索引中域的长度(词的总数)

实例总结:(1)索引创建过程:基于词创建字段域,把字段域添加文档,把文档添加进索引段。(2)索引实质就是由不同的索引段构造,或者说在索引目录中保存了许许多多的索引段。(3cfs文件就是一种复合后的索引文件,它持有所有索引文件的句柄(引用),以便进行频繁的索引操作,而gensegment_N文件记录了索引段的基本元信息。

3.优化索引创建

优化思路Lucene除了支持在硬盘中建立索引目录外,还支持在内存中建立索引目录。因此我们利用内存读写速度快于硬盘来优化索引的创建。主要操作过程:首先把硬盘上的索引读到内存索引目录中,然后在内存中进行索引操作,操作完成后再把内存索引写回到硬盘索引中去。优化后的代码如下:

public void createIndexBetter() throws IOException {
	// 创建Document对象,并完成相应的分词处理
	File file = new File(srcDoc);
	Document doc = new Document();
	doc.add(new Field("fileName", file.getName(), Store.YES, Index.ANALYZED)); // 索引并分词
	doc.add(new Field("fileSize", String.valueOf(file.length()), Store.YES, Index.NOT_ANALYZED)); // 索引,但不分词
	doc.add(new Field("fileContent", readContent(file), Store.YES, Index.ANALYZED)); // 索引并分词
	doc.add(new Field("filePath", file.getAbsolutePath(), Store.YES, Index.NO)); // 不索引,也不分词
		
	// 步骤一,把硬盘中的索引目录读到内存中去
	FSDirectory fsDir = FSDirectory.open(new File(indexDir));
	RAMDirectory ramDir = new RAMDirectory(fsDir);
	IndexWriter ramIndexWriter = new IndexWriter(ramDir, analyzer, false, MaxFieldLength.UNLIMITED);

	// 步骤二,直接对内存中的索引目录进行操作,这样比操作硬盘上的索引目录快很多。
	ramIndexWriter.addDocument(doc);
	ramIndexWriter.close(); // 关闭资源,使得Document对象添加到内存索引中去。

	// 步骤三,操作完成后把内存中的索引目录写回到硬盘中去
	IndexWriter fsIndexWriter = new IndexWriter(fsDir, analyzer, true, MaxFieldLength.UNLIMITED);
	// 强调:是否重建索引目录的boolean型标志默认为false,即不重建索引目录,如果我们这里不重建目录,它会把内存中的索引再添加到硬盘上的索引中去,这样就会造成索引重复,因为内存中的索引本身就是从硬盘中的索引中读出得。
	fsIndexWriter.addIndexesNoOptimize(new Directory[] { ramDir });

	// 经过一系列的索引添加操作,可能会产生很多小的cfs文件,而如果文件数量过多,会对性能产生影响,所以我们会使用下面的操作进行优化, 以保证合并这些小的cfs文件.
	fsIndexWriter.commit();
	// 刷出缓存中的索引,准备优化。原始的fsIndexWriter.flush()被标记为过时
	fsIndexWriter.optimize(); // 优化创建的索引文件
	fsIndexWriter.close();
}

 

概括要点:(1)如何把硬盘索引目录转换成内存索引目录。(2)如何把内存索引目录中的文件写回到硬盘中去。(3)如何避免内存中索引文件写回时与硬盘索引目录的中索引文件重复。(4)合并小的cfs文件并注意在适当的时候关闭IndexWriter对象释放资源。

思考:这样就实现了优化吗。优化的思想中提到的关键句:“内存读写速度快于硬盘来优化索引的创建”。如果频繁地使用addDocument方法,即是说在步骤二中addDocument方法会被执行多次,我们可以内存读写速度快的特点来进行优化。应用场景:一是当我们对多个Document对象进行添加操作时,我们可以利用此方法创建索引;二是合并多个硬盘索引目录也可仿照此方法:首先构建一个基于内存索引目录的IndexWriter对象,然后调用addIndexesNoOptimize方法添加硬盘目录中的索引到内存索引中去,最后再把内存中的索引写回到硬盘中去。