带分页的数据如何抓取?
程序员文章站
2022-05-25 16:53:02
...
php在抓取数据的时候,如何抓取带有分页的数据呢??
补充:抓取的是类似www.xxxblog.com这样链接下的文章列表,文章列表都是带分页的!
补充:抓取的是类似www.xxxblog.com这样链接下的文章列表,文章列表都是带分页的!
回复内容:
php在抓取数据的时候,如何抓取带有分页的数据呢??
补充:抓取的是类似www.xxxblog.com这样链接下的文章列表,文章列表都是带分页的!
我用java抓取过带分页的数据,我是通过url来抓取的,分页是用for循环来改写url里的对应不同页的key值实现的
通过不停请求下一页的URL获得,也可以获取到总页数,然后分析拼接URL获得~
这个分一些情况。
1:异步处理的,可以通过请求,返回json数据,然后处理
2:非异步,分步处理。首先获取总的页码,然后手动拼接页码,循环请求每个页面,再对单个页面进行抓取。
先查看页面的源码情况,然后明确action和args。
一般的案例:
action: http://www.xxx.com/testAction.do
args: filtersParams={}&curIndex=1&pageSize=10
页面中还会有total(总数据),totolPage(总页数)
可以通过这些信息在后台代码进行判断所存在分页就for调用这个action?args即可
推荐阅读
-
复制内容到Excel中排版如何取消excel同行数据中的序列编号
-
Facebook如何使用"我们"的数据去构建人工智能
-
PHP的cURL库功能简介 抓取网页、POST数据及其他
-
如何提升vue.js中大型数据的性能
-
使用wordpress的$wpdb类读mysql数据库做ajax时出现的问题该如何解决
-
通过抓取淘宝评论为例讲解Python爬取ajax动态生成的数据(经典)
-
如何利用jQuery post传递含特殊字符的数据
-
如何在SQL Server 2005数据库中导入SQL Server 2008的数据
-
详解如何通过Mysql的二进制日志恢复数据库数据
-
如何购买并配置linux服务器上的数据库