php 网络爬虫,该如何解决
程序员文章站
2024-01-15 11:49:28
...
php 网络爬虫
有开发过类似程序的高手吗？能够给点指点哦。功能需求是从网站自动获取相关数据，然后存入数据库。
有开发过类似程序的高手吗？能够给点指点哦。功能需求是从网站自动获取相关数据，然后存入数据库。
PHP
网络爬虫
数据库
行业数据
分享到：
------解决方案--------------------
curl爬取目标网站，正则或者DOM获取相应的数据，然后存数据库或者文件。
也没有太难的东西吧。你需要考虑的有：
爬取的策略（只抓取特定域名的，深度优先还是广度优先）。
爬取的效率（可开多线程去爬取，如何分配各个爬虫的任务）
等。。。。。。。。
------解决方案--------------------
curl爬取目标网站，正则或者DOM获取相应的数据，然后存数据库或者文件。
也没有太难的东西吧。你需要考虑的有：
爬取的策略（只抓取特定域名的，深度优先还是广度优先）。
爬取的效率（可开多线程去爬取，如何分配各个爬虫的任务）
等。。。。。。。。
声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn核实处理。
相关文章
相关视频
专题推荐
-
独孤九贱-php全栈开发教程
全栈 170W+
主讲：Peter-Zhu 轻松幽默、简短易学，非常适合PHP学习入门
-
玉女心经-web前端开发教程
入门 80W+
主讲：灭绝师太 由浅入深、明快简洁，非常适合前端学习入门
-
天龙八部-实战开发教程
实战 120W+
主讲：西门大官人 思路清晰、严谨规范，适合有一定web编程基础学习
作者信息
- 最新文章
- 热门排行
上一篇： PHP简单分页
下一篇： 优化MySQL的21个建议_MySQL
网友评论
文明上网理性发言，请遵守 新闻评论服务协议
我要评论