基于RMM的简易中文分词

本程序为基于RMM中文分词思想，编写的简易中文分词，程序中还存在不少漏洞，望大神指点....优化了下乱码问题

1. /**
2. * 基于RMM中文分词（逆向匹配法）
3. * @author tangpan
4. * @date 2013-10-12
5. * @version 1.0.0
6. **/
7. class SplitWord {
8. //public $Tag_dic = array(); //存储词典分词
9. public $Rec_dic = array(); //存储重组的分词
10. public $Split_char = ' '; //分隔符
11. public $Source_str = ''; //存储源字符串
12. public $Result_str = ''; //存储分词结果字符串
13. public $limit_lenght = 2;
14. public $Dic_maxLen = 28; //词典中词的最大长度
15. public $Dic_minLen = 2; //词典中词的最小长度
17. public function SplitWord() { //初始化对象，并自动执行成员方法
18. $this->__construct();
19. }
20. public function __construct() {
21. $dic_path = dirname(__FILE__).'/words.csv'; //预先载入词典以提高分词速度
22. $fp = fopen( $dic_path, 'r' ); //读取词库中的词
23. while( $line = fgets( $fp, 256 ) ) {
24. $ws = explode(' ', $line); //对词库中的词进行分割
25. $ws[0] = trim(iconv('utf-8','GBK',$ws[0])); //编码转换
26. //$this->Tag_dic[$ws[0]] = true; //以词为索引，序号为值
27. $this->Rec_dic[strlen($ws[0])][$ws[0]] = true; //以词长度和词分别为二维数组的索引，以n为值，来重组词库
28. }
29. fclose($fp); //关闭词库
30. }
32. /**
33. * 设置源字符串
34. * @param 要分词的字符串
35. */
36. public function SetSourceStr( $str ) {
37. $str = iconv( 'utf-8', 'GBK', $str ); // 将utf-8编码字符转换为GBK编码
38. $this->Source_str = $this->DealStr( $str ); //初步处理字符串
39. }
41. /**
42. * 检查字符串
43. * @param $str 源字符串
44. * @return bool
45. */
46. public function checkStr( $str ) {
47. if ( trim($str) == '' ) return; //若字符串为空，直接返回
48. if ( ord( $str[0] ) > 0x80 ) return true; //是中文字符则返回true
49. else return false; //不是中文字符则返回false
50. }
53. /**
54. * RMM分词算法
55. * @param $str 待处理字符串
56. */
57. public function SplitRMM( $str = '' ) {
58. if ( trim( $str ) == '' ) return; //若字符串为空，则直接返回
59. else $this->SetSourceStr( $str ); //字符串不为空时，设置源字符串
60. if ( $this->Source_str == ' ' ) return; //当源字符串为空时，直接返回
61. $split_words = explode( ' ', $this->Source_str ); //以空格来切分字符串
62. $lenght = count( $split_words ); //计算数组长度
63. for ( $i = $lenght - 1; $i >= 0; $i-- ) {
64. if ( trim( $split_words[$i] ) == ' ' ) continue; //如果字符为空时，跳过后面的代码，直接进入下一次循环
65. if ( $this->checkStr( $split_words[$i] ) ) { //检查字符串,如果是中文字符
66. if ( strlen( $split_words[$i] ) >= $this->limit_lenght ) { //字符串长度大于限制大小时
67. //对字符串进行逆向匹配
68. $this->Result_str = $this->pregRmmSplit( $split_words[$i] ).$this->Split_char.$this->Result_str;
69. }
70. } else {
71. $this->Result_str = $split_words[$i].$this->Split_char.$this->Result_str;
72. }
73. }
74. $this->clear( $split_words ); //释放内存
75. return iconv('GBK', 'utf-8', $this->Result_str);
76. }
78. /**
79. * 对中文字符串进行逆向匹配方式分解
80. * @param $str 字符串
81. * @return $retStr 分词完成的字符串
82. */
83. public function pregRmmSplit( $str ) {
84. if ( $str == ' ' ) return;
85. $splen = strlen( $str );
86. $Split_Result = array();
87. for ( $j = $splen - 1; $j >= 0; $j--) { //逆向匹配字符
88. if ( $splen Dic_minLen ) { //当字符长度大于词典中最小字符长度时
89. if ( $j == 1 ) { //当长度为 1 时
90. $Split_Result[] = substr( $str, 0, 2 );
91. } else {
92. $w = trim( substr( $str, 0, $this->Dic_minLen + 1 ) ); //截取前四个字符
93. if ( $this->IsWord( $w ) ) { //判断词典中是否存在该字符
94. $Split_Result[] = $w; //存在，则写入数组存储
95. } else {
96. $Split_Result[] = substr( $str, 2, 2 ); //逆向存储
97. $Split_Result[] = substr( $str, 0, 2 );
98. }
99. }
100. $j = -1; //关闭循环；
101. break;
102. }
103. if ( $j >= $this->Dic_maxLen ) $max_len = $this->Dic_maxLen; //当字符长度大于词典最大词的长度时，赋值最大限制长度
104. else $max_len = $j;
105. for ( $k = $max_len; $k >= 0; $k = $k - 2 ) { //一次跳动为一个中文字符
106. $w = trim( substr( $str, $j - $k, $k + 1 ) );
107. if ( $this->IsWord( $w ) ) {
108. $Split_Result[] = $w; //保存该词
109. $j = $j - $k - 1; //位置移动到已匹配的字符的位置
110. break; //分词成功即跳出当前循环，进入下一循环
111. }
112. }
113. }
114. $retStr = $this->resetWord( $Split_Result ); //重组字符串,并返回处理好的字符串
115. $this->clear( $Split_Result ); //释放内存
116. return $retStr;
117. }
119. /**
120. * 重新识别并组合分词
121. * @param $Split_Result 重组目标字符串
122. * @return $ret_Str 重组字符串
123. */
124. public function resetWord( $Split_Result ) {
125. if ( trim( $Split_Result[0] ) == '' ) return;
126. $Len = count( $Split_Result ) - 1;
127. $ret_Str = '';
128. $spc = $this->Split_char;
129. for ( $i = $Len; $i >= 0; $i-- ) {
130. if ( trim( $Split_Result[$i] ) != '' ) {
131. $Split_Result[$i] = iconv( 'GBK', 'utf-8', $Split_Result[$i] );
132. $ret_Str .= $spc.$Split_Result[$i].' ';
133. }
134. }
135. //$ret_Str = preg_replace('/^'.$spc.'/','、',$ret_Str);
136. $ret_Str = iconv('utf-8','GBK',$ret_Str);
137. return $ret_Str;
138. }
140. /**
141. * 检查词典中是否存在某个词
142. * @param $okWord 检查的词
143. * @return bool;
144. */
145. public function IsWord( $okWord ) {
146. $len = strlen( $okWord );
147. if ( $len > $this->Dic_maxLen + 1 ) return false;
148. else { //根据二维数组索引匹配，是否存在该词
149. return isset($this->Rec_dic[$len][$okWord]);
150. }
152. }
154. /**
155. * 初步处理字符串（以空格来替换特殊字符）
156. * @param $str 要处理的源字符串
157. * @return $okStr 返回预处理好的字符串
158. */
159. public function DealStr( $str ) {
160. $spc = $this->Split_char; //拷贝分隔符
161. $slen = strlen( $str ); //计算字符的长度
162. if ( $slen == 0 ) return; //如果字符长度为0，直接返回
163. $okstr = ''; //初始化变量
164. $prechar = 0; //字符判断变量(0-空白，1-英文，2-中文，3-符号)
165. for ( $i = 0; $i $str_ord = ord( $str[$i] );
166. if ( $str_ord if ( $str_ord if ( $str[$i] != '\r' && $str[$i] != '\n' )
167. $okstr .= $spc;
168. $prechar = 0;
169. continue;
170. } else if ( ereg('[@\.%#:\^\&_-]',$str[$i]) ) { //如果关键字的字符是数字或英文或特殊字符
171. if ( $prechar == 0 ) { //当字符为空白符时
172. $okstr .= $str[$i];
173. $prechar = 3;
174. } else {
175. $okstr .= $spc.$str[$i]; //字符不为空白符时,在字符前串上空白符
176. $prechar = 3;
177. }
178. } else if ( ereg('[0-9a-zA-Z]', $str[$i]) ) { //分割英文数字组合
179. if ( (ereg('[0-9]',$str[$i-1]) && ereg('[a-zA-Z]',$str[$i]))
180. || (ereg('[a-zA-Z]',$str[$i-1]) && ereg('[0-9]',$str[$i])) ) {
181. $okstr .= $spc.$str[$i];
182. } else {
183. $okstr .= $str[$i];
184. }
185. }
186. } else { //如果关键字的第二个字符是汉字
187. if ( $prechar != 0 && $prechar != 2 ) //如果上一个字符为非中文和非空格，则加一个空格
188. $okstr .= $spc;
189. if ( isset( $str[$i+1] ) ) { //如果是中文字符
190. $c = $str[$i].$str[$i+1]; //将两个字符串在一起，构成一个中文字
191. $n = hexdec( bin2hex( $c ) ); //将ascii码转换成16进制，再转化为10进制
192. if ( $n > 0xA13F && $n if ( $prechar != 0 ) $okstr .= $spc; //将中文标点替换为空
193. //else $okstr .= $spc; //若前一个字符为空，则直接串上
194. $prechar = 3;
195. } else { //若不是中文标点
196. $okstr .= $c;
197. $prechar = 2;
198. }
199. $i++; // $i 再加 1 ，即使一次移动为一个中文字符
200. }
201. }
202. }
203. return $okstr;
204. }
206. /**
207. * 释放内存
208. * @param $data 暂存数据
209. */
210. public function clear( $data ) {
211. unset( $data ); //删除暂存数据
212. }
213. }
214. ?>

复制代码