求好手，模拟浏览器抓取网页
程序员文章站
2024-02-08 13:08:10
...
求高手，模拟浏览器抓取网页
如抓取http://map.sogou.com/api/这个网页，我写的程序,如果不带网址后面的"/"，会抓取得不到，但是站上网（http://tool.chinaz.com/Tools/PageCode.aspx），不带最后面的"/"即可抓取到（即：http://map.sogou.com/api），他是什么原理？下面贴出我的代码，请改进
如抓取http://map.sogou.com/api/这个网页，我写的程序,如果不带网址后面的"/"，会抓取得不到，但是站上网（http://tool.chinaz.com/Tools/PageCode.aspx），不带最后面的"/"即可抓取到（即：http://map.sogou.com/api），他是什么原理？下面贴出我的代码，请改进
function file_get($url){
ob_start();
$ch = curl_init();
curl_setopt($ch, CURLOPT_COOKIEJAR, "./cookie.txt");
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; InfoPath.1; CIBA)");
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, FALSE);
curl_setopt($ch, CURLOPT_COOKIESESSION, TRUE);
curl_setopt($ch, CURLOPT_NOBODY, FALSE);
curl_exec($ch);
curl_close($ch);
$content = ob_get_clean();
return $content;
}
分享到：
------解决方案--------------------
CURLOPT_FOLLOWLOCATION
------解决方案--------------------
CURLOPT_FOLLOWLOCATION
声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn核实处理。
相关文章
相关视频
专题推荐
-
独孤九贱-php全栈开发教程
全栈 170W+
主讲：Peter-Zhu 轻松幽默、简短易学，非常适合PHP学习入门
-
玉女心经-web前端开发教程
入门 80W+
主讲：灭绝师太 由浅入深、明快简洁，非常适合前端学习入门
-
天龙八部-实战开发教程
实战 120W+
主讲：西门大官人 思路清晰、严谨规范，适合有一定web编程基础学习
作者信息
- 最新文章
- 热门排行
上一篇： mysql搜索不到数据，急呀，在线求救
推荐阅读
网友评论
文明上网理性发言，请遵守 新闻评论服务协议
我要评论