欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识！
您现在的位置是： 首页  >  后端开发

求好手，模拟浏览器抓取网页

程序员文章站 2022-06-17 09:24:39
...
求高手，模拟浏览器抓取网页
如抓取http://map.sogou.com/api/这个网页，我写的程序,如果不带网址后面的"/"，会抓取得不到，但是站上网（http://tool.chinaz.com/Tools/PageCode.aspx），不带最后面的"/"即可抓取到（即：http://map.sogou.com/api），他是什么原理？下面贴出我的代码，请改进



function file_get($url){
	 ob_start();
	 $ch = curl_init();

	 curl_setopt($ch, CURLOPT_COOKIEJAR, "./cookie.txt");
	 curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; InfoPath.1; CIBA)");
	curl_setopt($ch, CURLOPT_URL, $url);
	 curl_setopt($ch, CURLOPT_HEADER, FALSE);
	 curl_setopt($ch, CURLOPT_COOKIESESSION, TRUE);
	 curl_setopt($ch, CURLOPT_NOBODY, FALSE);

	 curl_exec($ch);
	 curl_close($ch);
	 $content = ob_get_clean();



	return $content;

}

网友评论

文明上网理性发言，请遵守 新闻评论服务协议

我要评论
  • 求好手，模拟浏览器抓取网页

    • 专题推荐

    作者信息
    求好手，模拟浏览器抓取网页

    认证0级讲师

    发布技术文章
    • 最新文章
    • 热门排行
    推荐视频教程
  • 求好手，模拟浏览器抓取网页javascript初级视频教程
  • 求好手，模拟浏览器抓取网页jquery 基础视频教程
    • 视频教程分类
    相关标签： nbsp CURLOPT curl setopt ch

    上一篇： 无限分类_PHP教程

    下一篇： MySQL Compressed Backup_MySQL

    推荐阅读