大侠何在,采集数据被封ip该怎么处理

程序员文章站 2022-06-17 15:13:13

...

大侠何在,采集数据被封ip该怎么办，
大侠何在,采集数据被封ip该怎么办，如何判断出网站都用了哪些仿采集的程序啊，我们又改如何避让开这些仿采集程序啊

------解决方案--------------------

没办法，你可以装做客户投诉他们，
------解决方案--------------------
sleep() 你不要太暴力采集我们现在采集都是一秒采集一次否则对大家都不好是不是你一下子并发那么高大家都不好，慢慢来他不会封的。
------解决方案--------------------
这个...除了你换IP，找代理服务器，伪造IP，没其他啥好方法...
人家看到你的IP频繁访问，直接iptables屏掉你的IP都是很简单的...
------解决方案--------------------
封就疯了吧！人家辛辛苦苦地正的那些资料，凭什么给你呀
------解决方案--------------------
疯吧，既然知道封ip，那就用别的服务器采集呗
降低频率，悠着点
------解决方案--------------------
sleep(60)？要是我我也封你ip

我采集都是隔几分钟才一篇
------解决方案--------------------
隔几分钟一篇，这样采集速度会很慢的吧？
不过好像也没有办法吧，毕竟是人家的东西
------解决方案--------------------
用CURL可以假冒IP的吧
$headers['CLIENT-IP'] = $headers['X-FORWARDED-FOR'] = '192.168.1.1'; //用请求地址的IP
$headerArr = array();
foreach( $headers as $n => $v ) {
$headerArr[] = $n .':' . $v;
}
$refer = $_SERVER["HTTP_REFERER"]

curl_setopt($ch, CURLOPT_HTTPHEADER , $headerArr); //构造IP

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn核实处理。