Lucene-分词器

1. 分词器概念
   分词器指的是搜索引擎如何使用关键字进行匹配，如 入门 中的关键字：护眼带光源。 如果使用like,那么%护眼带光源%，匹配出来的结果就是要么全匹配，要不都不匹配。
   而使用分词器，就会把这个关键字分为 护眼，带，光源 3个关键字，这样就可以找到不同相关程度的结果了。
   
2.  IKAnalyzer6.5.0.jar
   IKAnalyzer 这个分词器很久都没有维护了，也不支持Lucene7。 IKAnalyzer6.5.0.jar 这个是修改之后的的，可以支持Lucene7的jar, 在右上角下载（已经包含在右上角的lucene.rar中了）。
   
3.  代码演示 TestAnalyzer
   如代码所示，使用IKAnalyzer 中文分词器就会把 护眼带光源 分为这么如图所示的3个小关键字进行匹配
   
   

   public class TestAnalyzer {
    
       public static void main(String[] args) throws IOException {
            
           IKAnalyzer analyzer = new IKAnalyzer();
           TokenStream ts= analyzer.tokenStream("name", "护眼带光源");
           ts.reset();
           while(ts.incrementToken()){
               System.out.println(ts.reflectAsString(false));
           }
       }
   }