使用curl抓取一个网页出现瓶颈解决办法
程序员文章站
2023-12-30 11:41:58
...
使用curl抓取一个网页出现瓶颈
http://www.sgs.gov.cn/lz/etpsInfo.do?method=index
这个网站
输入上海科波勒之后查询后可以得到
点击查看详情后他发送了一个post到http://www.sgs.gov.cn/lz/etpsInfo.do?method=viewDetail
$etpsId = 290000032004051700672
用curl总是返回非法的访问方式，
我设置了refer，设置了setcookie都还是不成。哪位大神能解决吗
------解决方案--------------------
跳转打开
模拟浏览器参数加上
所有的参数都要提交清楚
如果目标页面有对提交的IP做判断，那就直接死心吧.
------解决方案--------------------
http://www.sgs.gov.cn/lz/etpsInfo.do?method=index
这个网站
输入上海科波勒之后查询后可以得到
点击查看详情后他发送了一个post到http://www.sgs.gov.cn/lz/etpsInfo.do?method=viewDetail
$etpsId = 290000032004051700672
用curl总是返回非法的访问方式，
我设置了refer，设置了setcookie都还是不成。哪位大神能解决吗
------解决方案--------------------
跳转打开
模拟浏览器参数加上
所有的参数都要提交清楚
如果目标页面有对提交的IP做判断，那就直接死心吧.
------解决方案--------------------
声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn核实处理。
相关文章
相关视频