PHP采集这个网站是如何防采集的
程序员文章站
2024-04-05 17:39:36
...
PHP采集高手进!这个网站是怎么防采集的?
最近采集一个网站,采集不了他的产品,但是我不知道他用了什么防采集的技术?求指教
http://www.leisurelakesbikes.com/ 怎样才能采集到他呢?
------解决方案--------------------
不知道你要采集什么内容,图片之类的可能用了防盗链,在你发送的访问请求中伪造Referer,伪造不是很难,你可以搜索一下相关资料很多的。
------解决方案--------------------
完整构建一个HTTP请求吧,只要IE能访问,肯定能采集。
------解决方案--------------------
最近采集一个网站,采集不了他的产品,但是我不知道他用了什么防采集的技术?求指教
http://www.leisurelakesbikes.com/ 怎样才能采集到他呢?
------解决方案--------------------
不知道你要采集什么内容,图片之类的可能用了防盗链,在你发送的访问请求中伪造Referer,伪造不是很难,你可以搜索一下相关资料很多的。
------解决方案--------------------
完整构建一个HTTP请求吧,只要IE能访问,肯定能采集。
------解决方案--------------------
- PHP code
$url='http://www.leisurelakesbikes.com/product/specializedtransitioncompracingbike2011.aspx?&id=16728'; $curl=curl_init($url); curl_setopt($curl,CURLOPT_AUTOREFERER,1); curl_setopt($curl,CURLOPT_RETURNTRANSFER,1); $html=curl_exec($curl); echo $html;
------解决方案--------------------
整个网页几乎都包含在一个hidden form里面,你留意一下,估计用了ajax和session相关文章
相关视频