抓取时ip被封禁有关问题
程序员文章站
2023-12-28 19:06:46
...
抓取时ip被封禁问题
本帖最后由 zzfkyo 于 2013-11-24 22:36:33 编辑
最近需要抓取一个站点的内容，我是用的snoopy来抓的，一开始发现会封ip后，我按照网上的解决方案将user-agent换成了google的蜘蛛的，并且用snoopy进行了伪造了ip（每抓一条就换一个随机ip)但是抓取一百多个页面后还是被封ip导致无法抓取，有什么好的解决方法吗？
snoopy
抓取
封ip
分享到：
------解决方案--------------------
应该是访问太频繁了。
------解决方案--------------------
并且用snoopy进行了伪造了ip
这个是忽悠你的..
------解决方案--------------------
能伪造ip？这。。。
------解决方案--------------------
抓太快管你是谁啊，照封
------解决方案--------------------
应该是访问太频繁了。
------解决方案--------------------
并且用snoopy进行了伪造了ip
这个是忽悠你的..
------解决方案--------------------
能伪造ip？这。。。
------解决方案--------------------
抓太快管你是谁啊，照封
声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn核实处理。
相关文章
相关视频
专题推荐
-
独孤九贱-php全栈开发教程
全栈 170W+
主讲：Peter-Zhu 轻松幽默、简短易学，非常适合PHP学习入门
-
玉女心经-web前端开发教程
入门 80W+
主讲：灭绝师太 由浅入深、明快简洁，非常适合前端学习入门
-
天龙八部-实战开发教程
实战 120W+
主讲：西门大官人 思路清晰、严谨规范，适合有一定web编程基础学习
作者信息
- 最新文章
- 热门排行
网友评论
文明上网理性发言，请遵守 新闻评论服务协议
我要评论