怎么采集不被发现
程序员文章站
2022-06-15 21:26:51
...
如何采集不被发现
使用curl 去采集 别人网站
会被 别人网站的站长工具捕捉到。。
知道有个链接 老是 定期访问他。。
有没有什么方法 采集的时候 不留下痕迹。。
------解决方案--------------------
你得看人家的防作弊策略了,没法说。
最好先抓包看看是不是有鼠标轨迹或者会话cookie等,另外也可能根据你的ip进行限制,那就要借助代理服务器去刷。
------解决方案--------------------
找下百度蜘蛛的useragent. 模拟去吧. 要是他牛到不让百度抓就要用软件了
使用curl 去采集 别人网站
会被 别人网站的站长工具捕捉到。。
知道有个链接 老是 定期访问他。。
有没有什么方法 采集的时候 不留下痕迹。。
------解决方案--------------------
你得看人家的防作弊策略了,没法说。
最好先抓包看看是不是有鼠标轨迹或者会话cookie等,另外也可能根据你的ip进行限制,那就要借助代理服务器去刷。
------解决方案--------------------
找下百度蜘蛛的useragent. 模拟去吧. 要是他牛到不让百度抓就要用软件了
相关文章
相关视频