编译安装开源免费中文分词scws

 

一、SCWS了解一下：

SCWS 是 Simple Chinese Word Segmentation 的首字母缩写（即：简易中文分词系统）。

这是一套基于词频词典的机械式中文分词引擎，它能将一整段的中文文本基本正确地切分成词。 词是中文的最小语素单位，但在书写时并不像英语会在词之间用空格分开， 所以如何准确并快速分词一直是中文分词的攻关难点。

SCWS 采用纯 C 语言开发，不依赖任何外部库函数，可直接使用动态链接库嵌入应用程序， 支持的中文编码包括 GBK、UTF-8 等。此外还提供了 PHP 扩展模块， 可在 PHP 中快速而方便地使用分词功能。

分词算法上并无太多创新成分，采用的是自己采集的词频词典，并辅以一定的专有名称，人名，地名， 数字年代等规则识别来达到基本分词，经小范围测试准确率在 90% ~ 95% 之间， 基本上能满足一些小型搜索引擎、关键字提取等场合运用。首次雏形版本发布于 2005 年底。

SCWS 由 hightman 开发， 并以 BSD 许可协议开源发布，源码托管在 github。

参考官方文档：http://www.xunsearch.com/scws/index.php

 

二、安装步骤：

1. 取得 scws-1.2.3 的代码

wget http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2

 

2. 解开压缩包

[hightman@d1 ~]$ tar xvjf scws-1.2.3.tar.bz2

 

3. 进入目录执行配置脚本和编译

[hightman@d1 ~]$ cd scws-1.2.3

[hightman@d1 ~/scws-1.2.3]$ ./configure --prefix=/usr/local/scws ; make ; make install

注：这里和通用的 GNU 软件安装方式一样，具体选项参数执行 ./configure --help 查看。

常用选项为：--prefix=<scws的安装目录>

 

4. 顺利的话已经编译并安装成功到 /usr/local/scws 中了，执行下面命令看看文件是否存在

[hightman@d1 ~/scws-1.2.3]$ ls -al /usr/local/scws/lib/libscws.la

 

5. 试试执行 scws-cli 文件

[hightman@d1 ~/scws-1.2.3]$ /usr/local/scws/bin/scws -h

scws (scws-cli/1.2.3)

Simple Chinese Word Segmentation - Command line usage.

Copyright (C)2007 by hightman.

...

 

6 用 wget 下载并解压词典，或从主页下载然后自行解压再将 *.xdb 放入 /usr/local/scws/etc 目录中{笔者所用字符集是utf-8}

[hightman@d1 ~/scws-1.2.3]$ cd /usr/local/scws/etc

[hightman@d1 /usr/local/scws/etc]$ wget http://www.xunsearch.com/scws/down/scws-dict-chs-utf8.tar.bz2

[hightman@d1 /usr/local/scws/etc]$ tar xvjf scws-dict-chs-utf8.tar.bz2

gbk下载：wget http://www.xunsearch.com/scws/down/scws-dict-chs-gbk.tar.bz2【utf-8的伙伴略过此条】

 

7、进入源码目录的 phpext/ 目录

8、执行 phpize （在PHP安装目录的bin/目录下）

9、执行 ./configure --with-scws=/usr/local/scws --with-php-config=/usr/local/php/bin/php-config (php-config绝对路径)

10、 执行 make 后再执行 make test 查看是否有错，最后在执行 make install

11、 在 php.ini 中加入以下几行

[scws]

;未指定extension_dir的情况下, extension 写 scws.so 的绝对路径

extension =scws.so

scws.default.charset = utf8

scws.default.fpath = /usr/local/scws/etc

 

中途错误汇总：

• 出现如图错误 yum install gcc解决；
• 出现如图错误 打开php.ini文件，取消禁用proc_open；

 

•  有的人说重启php-fpm报错，那可能是因为你将[scws]的配置放在 php.ini末尾了！