lucene-亚洲语种和unicode字符分析

1、unicode字符

在lucene内部，所有的字符都是以标准UTF-8编码的，JAVA会在字符串对象内对Unicode编码进行自动处理，从而把我们从这个繁琐的处理任务中解放出来。

2、亚洲语种分析

汉语、日语及韩语（CJK）等亚洲语种一般使用表意文字，需要使用不同的分析方法来识别和分隔语汇单元。

Lucene的Sandbox中有两个用于亚洲语言分析的分析器。使用IndexSearcher查询时跟对英文进行查询的代码一样，但是查询代码所在的JAVA源程序代码必须保存为UTF-8格式的文档。如Hitshits=searcher.search(new TermQuery(new Term("contents","道")));

3、一个示例程序ChineseDemo

public class ChineseDemo{

privatestatic String[] strings=("道德经");

 

privatestatic Analyzer[] analyzer={

new SimpleAnalyzer(),

new StandardAnalyzer(),

new ChineseAnanlyzer(),//Sandbox的中文分析器

new CJKAnanlyzer()//sandbox的中文分析器

};

publicvoid main(String args[]) throws Exception{

for (int i=0;i<strings.length;i++){

String string=strings[i];

for (int j=0;j<ananlyzer.length;j++){

Analyzer analyzer=analyzer[j];

analyzer(string,analyzer);

}

}

}

privatestatic void analyze(String string,Ananylzer analyzer) throwsIOException{

StringBuffer buffer=new StringBuffer();

Token[]tokens=AnalyzerUtils.tokenSFromAnalysis(analyzer,string);

for(int i=0;i<tokens.length;i++){

buffer.append("[");

buffer.append(tokens[i].termText());

buffer.append("]");

}

String output=buffer.toString();

System.out.println(output);

}

}

结果是：

SimpleAnalyzer输出[道德经]

StandardAnalyzer输出[道][德][经]

ChineseAnalyzer输出[道][德][经]

CJKAnaylyzer输出[道德][德经]

可见CJK将前后相连的字符组合在一起，这样容易产生汉字词组，但同时产生了大量不是词组的词组