欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

中文分词之Java实现使用IK Analyzer实现

程序员文章站 2022-07-05 07:50:43
...

IK Analyzer基于lucene实现的分词开源框架,下载路径:http://code.google.com/p/ik-analyzer/downloads/list

需要在项目中引入:

IKAnalyzer.cfg.xml

IKAnalyzer2012.jar

lucene-core-3.6.0.jar

stopword.dic

什么都不用改

示例代码如下(使用IK Analyzer): 

  1. package com.haha.test;  
  2.   
  3. import java.io.IOException;  
  4. import java.io.StringReader;  
  5. import org.apache.lucene.analysis.Analyzer;  
  6. import org.apache.lucene.analysis.TokenStream;  
  7. import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;  
  8. import org.wltea.analyzer.lucene.IKAnalyzer;  
  9.   
  10. public class Test2 {  
  11.     public static void main(String[] args) throws IOException {  
  12.         String text="基于java语言开发的轻量级的中文分词工具包";  
  13.         //创建分词对象   
  14.         Analyzer anal=new IKAnalyzer(true);       
  15.         StringReader reader=new StringReader(text);  
  16.         //分词   
  17.         TokenStream ts=anal.tokenStream("", reader);  
  18.         CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);  
  19.         //遍历分词数据   
  20.         while(ts.incrementToken()){  
  21.             System.out.print(term.toString()+"|");  
  22.         }  
  23.         reader.close();  
  24.         System.out.println();  
  25.     }  
  26.   
  27. }  
package com.haha.test;

import java.io.IOException;
import java.io.StringReader;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.lucene.IKAnalyzer;

public class Test2 {
	public static void main(String[] args) throws IOException {
		String text="基于java语言开发的轻量级的中文分词工具包";
		//创建分词对象
		Analyzer anal=new IKAnalyzer(true);		
		StringReader reader=new StringReader(text);
		//分词
		TokenStream ts=anal.tokenStream("", reader);
		CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);
		//遍历分词数据
		while(ts.incrementToken()){
			System.out.print(term.toString()+"|");
		}
		reader.close();
		System.out.println();
	}

}


运行后结果:

基于|java|语言|开发|的|轻量级|的|中文|分词|工具包|

 

使用(lucene)实现:

  1. package com.haha.test;  
  2.   
  3. import java.io.IOException;  
  4. import java.io.StringReader;  
  5.   
  6. import org.wltea.analyzer.core.IKSegmenter;  
  7. import org.wltea.analyzer.core.Lexeme;  
  8.   
  9. public class Test3 {  
  10.       
  11.     public static void main(String[] args) throws IOException {  
  12.         String text="基于java语言开发的轻量级的中文分词工具包";  
  13.         StringReader sr=new StringReader(text);  
  14.         IKSegmenter ik=new IKSegmenter(sr, true);  
  15.         Lexeme lex=null;  
  16.         while((lex=ik.next())!=null){  
  17.             System.out.print(lex.getLexemeText()+"|");  
  18.         }  
  19.     }  
  20.   
  21. }