php curl采集的提示403异常
程序员文章站
2024-01-16 18:24:10
...
php curl采集的提示403错误
function get_music_detail_url($url){
if(empty($url)) return array();
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);
curl_setopt($ch,CURLOPT_USERAGENT,"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
$somecontent = curl_exec($ch);
curl_close($ch);
return $somecontent;
}
$re = $client->get_music_detail_url("http://music.douban.com/subject/1756577/");
print_r($re);
提示以下错误
403 Forbidden
nginx
请问如何解决才能正常采集呢。遇到提示403的问题。该如何采集这个页面
------解决方案--------------------
经测试,没有发现你说的现象
不过页面数据中有 js 操控,得到的可能不是你需要的东西
------解决方案--------------------
同一段代码,有人403,有人正常,这种情况针对IP(范围)限制的可能性极高
function get_music_detail_url($url){
if(empty($url)) return array();
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);
curl_setopt($ch,CURLOPT_USERAGENT,"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
$somecontent = curl_exec($ch);
curl_close($ch);
return $somecontent;
}
$re = $client->get_music_detail_url("http://music.douban.com/subject/1756577/");
print_r($re);
提示以下错误
403 Forbidden
nginx
请问如何解决才能正常采集呢。遇到提示403的问题。该如何采集这个页面
------解决方案--------------------
经测试,没有发现你说的现象
不过页面数据中有 js 操控,得到的可能不是你需要的东西
------解决方案--------------------
同一段代码,有人403,有人正常,这种情况针对IP(范围)限制的可能性极高
相关文章
相关视频
专题推荐
-
独孤九贱-php全栈开发教程
全栈 170W+
主讲:Peter-Zhu 轻松幽默、简短易学,非常适合PHP学习入门
-
玉女心经-web前端开发教程
入门 80W+
主讲:灭绝师太 由浅入深、明快简洁,非常适合前端学习入门
-
天龙八部-实战开发教程
实战 120W+
主讲:西门大官人 思路清晰、严谨规范,适合有一定web编程基础学习
网友评论
文明上网理性发言,请遵守 新闻评论服务协议
我要评论