java-lucene中几个主要可用的分析器

这些分析器几乎可以用于分析所有的西方语言。

1、WhitespaceAnalyzer：在空格处进行语汇单元的切分

2、SimpleAnalyzer：在非字母字符处切分文本，并将其转换为小写形式

3、StopAnalyzer:在非字母字符处切分文本，然后小写化，再移除信用词

4、StandardAnalyzer:基于复杂的语法来实现语汇单元化；这些语法规则可以识别e-mail地址、首字母缩写词、汉语-日语-汉语字符、字母数字等；小写化；并移除停用词