PHP中使用正则表达式提取中文实现笔记

最近老板叫做一个数据查重的小练习，涉及从一个包含中文字段的文件中提取出其中的中文字段并存储，使用php开发。中间涉及到php正则表达式中文匹配的问题，网上搜罗一大片，但是也很乱没有一个准信儿，经过自己的代码的修改和检验，先将extract函数写下。

首先要注意到的是，双字节字符的编码问题，这里我们以后还可能会遇到像韩文、日文等编码问题，与中文理解上是一个意思。

1. gbk (gb2312/gb18030)

\x00-\xff gbk双字节编码范围  
\x20-\x7f ascii  
\xa1-\xff 中文 gb2312  
\x80-\xff 中文 gbk  

 
2. utf-8 (unicode)

\u4e00-\u9fa5 (中文)  
\x3130-\x318f (韩文  
\xac00-\xd7a3 (韩文)  
\u0800-\u4e00 (日文) 

在notepad++下面，我们可以首先进行测试我们的正则书写的错误与否。第一个表达式我是使用[\u4e00-\u9fa5]+来检验的，+号表示不止一个

匹配符。结果与预期相同，那么，是否在脚本中就可以使用这个正则了呢？

我们测试一下，我们使用preg_match_all(‘/[\u4e00-\u9fa5]+/', $subject,$matches)调用，然后你却看到了这么一个结果：compilation failed: pcre does not support \l, \l, \n{name}, \u, or \u at offset 2。。。。是不是很头大？？这究竟是什么原因？

查阅了很多资料后发现，u (pcre_utf8)，就是上面的pcre，这是是一个perl库，包括 perl 兼容的正规表达式库。此修正符启用了一个 pcre 中与 perl 不兼容的额外功能。模式字符串被当成 utf-8。本修正符在 unix 下自 php 4.1.0 起可用，在 win32 下自 php 4.2.3 起可用。而php正则表达式对于十六进制数据的表达方式上也有所不同，在php中，是用\x表示十六进制数据的。下面我们就将代码优化一下，检测函数变为：

 class storedataadapter extends store{  
        private $dsdata;  
        /** 
         * 数据转换函数，调用preg_match_all根据$pattern正则来进行数值匹配，并将返回的结果以数组形式存储在$matches中， 
         * $matches[0]将包含与整个模式匹配的文本，$matches[1] 将包含与第一个捕获的括号中的子模式所匹配的文本，以此类推 
         * @see store::data_convert() 
         */ 
        public function data_convert($pattern,$subject) {  
            $matches=array();  
            if (preg_match_all($pattern, $subject,$matches)){  
                return $matches[0];  
            }else   
            {  
                return null;  
            }  
        }  
    } 

调用的时候变为：

 $store=new storedataadapter($txtcontent);  
    $match=array();  
    $dsname=$store->data_convert(‘/[\x7f-\xff]+/',$txtcontent);  
    foreach ($dsname as $val){  
        echo $val."<br>";  
    }  

输入文件为：

，下面是提取出中文之后的输出文件内容：

，符合预期需求。