使用meta跳转之后的网页抓取不了?紧急求教各位高手!
程序员文章站
2022-05-26 11:06:55
...
情况是这样的,想用server1上的zq.php抓取 server2上article.php的内容,难题是article.php 好像做盗链自动跳转的防御,利用meta 自动跳转回该页面。下附源码,求各位帮助。
http://server1/zq.php 源码
http://server2/article.php?id=123返回的数据:
http://server1/zq.php 源码
$url = "http://server2/article.php?id=123";$fp = curl_init();curl_setopt($fp, CURLOPT_URL, $url);curl_setopt($fp, CURLOPT_TIMEOUT, 30);curl_setopt($fp, CURLOPT_FOLLOWLOCATION, 1);ob_start();curl_exec($fp);$contents = ob_get_contents();ob_end_clean();curl_close($ch);//echo "" //这样可以打印出http://server2/article.php?id=123返回的数据echo $contents // 用浏览器访问,直接跳转到http://server1/article.php?id=123 找不到页面404
http://server2/article.php?id=123返回的数据:
回复讨论(解决方案)
服务端可能会检查 cookie,你既没有接收也没有发送
服务端可能会检查 User-Agent,你没有模拟发送
服务端可能会检查 REFERER,你也没有模拟发送
谢了老大,马上尝试!
下一篇: flash用php连接数据库的代码