一个php文本采集类

2. $C = new Collection();
3. $C->url = 'http://bbs.it-home.org/subject_search?cat=1001&search_text=%E5%B9%B4%E8%BD%BB%E4%BA%BA';
4. $C->startFlag = '
   ';
5. $C->endFlag = '
   ';
6. $C->init();
7. $C->regExp = "|
   (.*)

   (.*)

   |Uis";
8. $C->parse();
9. print_rr($C->result);
10. */

复制代码

php文本采集类文件：

3. /**

4. 模块名：php文本采集类
5. **/
6. class Collection{
7. //入口 公有
8. var $url; //欲分析的url地址
9. var $content; //读取到的内容
10. var $regExp; //要获取部分的正则表达式
11. var $codeFrom; //原文的编码
12. var $codeTo; //欲转换的编码
13. var $timeout; //采集等待的时间

14. var $startFlag; //文章开始采集的标志 默认为0 在进行采集条目时，只对$startFlag 和 $endFlag之间的文字块进行搜索和采集。

15. var $endFlag; //文章结束采集的标志 默认为文章末尾 在进行采集条目时，只对$startFlag 和 $endFlag之间的文字块进行搜索和采集。
16. var $block; //$startFlag 和 $endFlag之间的文字块
17. //出口 私有
18. var $result; //输出结果

19. //初始化收集器

20. function init(){
21. if(empty($url))
22. $this->getFile();
23. $this->convertEncoding();
24. }
25. //采集所需内容
26. function parse(){
27. $this->getBlock();
28. preg_match_all($this->regExp, $this->block ,$this->result,PREG_SET_ORDER);
29. return $this->block;
30. }
31. //错误处理
32. function error($msg){
33. echo $msg;
34. }
35. //读取远程网页 如果成功，传回文件；如果失败传回false
36. function getFile(){
37. $datalines = @file($this->url);
38. if(!$datalines){
39. $this->error("can't read the url:".$this->url);
40. return false;
41. } else {
42. $importdata = implode('', $datalines);
43. $importdata = str_replace(array ("\r\n", "\r"), "\n", $importdata);
44. $this->content = $importdata;
45. }
46. }
47. //获取所需要的文字块
48. function getBlock(){
49. if(!empty($this->startFlag))
50. $this->block = substr($this->content,strpos($this->content,$this->startFlag));
51. if(!empty($this->endFlag))
52. $this->block = substr($this->block,0,strpos($this->block,$this->endFlag));
53. }
54. //内容编码的转换
55. function convertEncoding(){
56. if(!empty($this->codeTo))
57. $this->codeFrom = mb_detect_encoding($this->content);
58. //如果给定转换方案，才执行转换。
59. if(!empty($this->codeTo))
60. $this->content = mb_convert_encoding($this->content,$this->codeTo,$this->codeFrom) or $this->error("can't convert Encoding");
61. }
62. }//end of class
63. ?>

复制代码