PHP 采集程序原理分析篇_PHP教程
程序员文章站
2022-04-06 09:03:38
...
苦想了几天，终于弄明白了里面的道理。在这里写出来，请高手指正。
采集程序的思路很简单，无非就是先打一个页面，一般都是列表页，取得里面全部链接的地址，然后打开逐条链接，寻找我们感兴趣的东西，如果找到，就把它入库或别的处理。下面以一个很简单的例子来说说。
首先确定一个采集页，一般就是列表面了。这里目标是:http://www.jb51.net/article/11/index.htm。这是一个列表页，我们的目的就是采集这个列表页上全部的文章。
有列表页了，第一步先打开它，把它的内容纳入到我们的程序中来。一般用fopen或是file_get_contents这两个函数，我们这里用fopen作例子。怎么打开它呢？很简单：$source=fopen("http://www.jb51.net/article/11/index.htm",'r')；实际上已经把内容纳入到我们的程序中来了。注意得到的$source是一个资源，不是可处理的文本，所以再用函数fread将内容读到一个变量中，这次就是真正的可编辑的文本了。例子：
$content=fread($source,99999);后面的数字表示字节数，填个大的就行。你用file_put_contents将$content写入到一个文本文件，可以看出里面的内容其实就是网页的源码。得到了网页的源码，我们就要分析里面的文章链接地址，这里要用到正则表达式了，[推荐正则表达式教程（http://www.jb51.net/article/7/all/545.1.htm）]。通过查看源代码，我们可以看到里面文章的链接地址全是这个样子
采集程序的思路很简单，无非就是先打一个页面，一般都是列表页，取得里面全部链接的地址，然后打开逐条链接，寻找我们感兴趣的东西，如果找到，就把它入库或别的处理。下面以一个很简单的例子来说说。
首先确定一个采集页，一般就是列表面了。这里目标是:http://www.jb51.net/article/11/index.htm。这是一个列表页，我们的目的就是采集这个列表页上全部的文章。
有列表页了，第一步先打开它，把它的内容纳入到我们的程序中来。一般用fopen或是file_get_contents这两个函数，我们这里用fopen作例子。怎么打开它呢？很简单：$source=fopen("http://www.jb51.net/article/11/index.htm",'r')；实际上已经把内容纳入到我们的程序中来了。注意得到的$source是一个资源，不是可处理的文本，所以再用函数fread将内容读到一个变量中，这次就是真正的可编辑的文本了。例子：
$content=fread($source,99999);后面的数字表示字节数，填个大的就行。你用file_put_contents将$content写入到一个文本文件，可以看出里面的内容其实就是网页的源码。得到了网页的源码，我们就要分析里面的文章链接地址，这里要用到正则表达式了，[推荐正则表达式教程（http://www.jb51.net/article/7/all/545.1.htm）]。通过查看源代码，我们可以看到里面文章的链接地址全是这个样子
将数据库连接代码封装在函数里，在需要读取时调用..
我们就可以写正则表达式了。$count=preg_match_all("/
我们就可以写正则表达式了。$count=preg_match_all("/
声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn核实处理。
相关文章
相关视频