php爬虫抓取的链接怎么存储成队列?
程序员文章站
2022-05-28 10:08:50
...
扩展链接函数写完后,把链接存储成队列的函数怎么写呢?
//扩展链接函数
public function extractLink($page){
$matches=array();
$pat="#href=\"(http://xxxx/yyy/zzz.php\?id=\d+$)\"# i";
preg_match_all($pat,$page,$matches,PREG_PATTERN_ORDER);
for($i=0;$i
有个视频上说链接库的功能包括:1、 存储链接;2、 对链接去重;3、对链接设置优先级。
实践方案有:1、保存在数据库;2、redis;3、内存集合;4、队列。
但是说到这里视频有问题,后面内容就没有了。
回复内容:
扩展链接函数写完后,把链接存储成队列的函数怎么写呢?
//扩展链接函数
public function extractLink($page){
$matches=array();
$pat="#href=\"(http://xxxx/yyy/zzz.php\?id=\d+$)\"# i";
preg_match_all($pat,$page,$matches,PREG_PATTERN_ORDER);
for($i=0;$i
有个视频上说链接库的功能包括:1、 存储链接;2、 对链接去重;3、对链接设置优先级。
实践方案有:1、保存在数据库;2、redis;3、内存集合;4、队列。
但是说到这里视频有问题,后面内容就没有了。
什么视频?什么教程?你在说什么?
队列不就是存成一个数组,然后array_shift, array_push么
可以试试beanstalk
上一篇: 这是我的MVC框架ActionController的封装
下一篇: php 5.5不能运行,