欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

经过URL抓取网页的TITLE,有些网站抓不到,方法愚笨,求指点

程序员文章站 2022-05-12 21:47:54
...
通过URL抓取网页的TITLE,有些网站抓不到,方法愚笨,求指点。
本帖最后由 u012716911 于 2013-11-04 11:25:29 编辑 代码是我自己这样想着写的,不知道还有没有更好的方法。请各位给些指点
有些网站可以抓到,如百度,有些网站就抓不到,比如太平洋汽车的首页。


public function set_title()
{
// 获取进来URL
$url = $_POST['url'];
// $url = "www.pcauto.com.cn"; 抓不到!
//一连串的curl设置
$ch = curl_init();
curl_setopt($ch,CURLOPT_URL,$url);
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_ENCODING,'gzip');
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$content_source = curl_exec($ch);
curl_close($ch);

//获取抓到内容的编码格式

$encode = mb_detect_encoding($content_source, array('GB2312','GBK','UTF-8','ASCII'));

//转码
$content_source = iconv($encode, 'utf-8//IGNORE',$content_source);

//截取 <br> if(preg_match("/<title>(.*?)/i",$content_source,$title))<br> {<br> echo $title[1];<br> }<br> else<br> {<br> echo '拉取标题失败';<br> }<br> }<br>
curl 抓取 标题

网友评论

文明上网理性发言,请遵守 新闻评论服务协议

我要评论
  • 经过URL抓取网页的TITLE,有些网站抓不到,方法愚笨,求指点
  • 专题推荐

    作者信息
    经过URL抓取网页的TITLE,有些网站抓不到,方法愚笨,求指点

    认证0级讲师

    推荐视频教程
  • 经过URL抓取网页的TITLE,有些网站抓不到,方法愚笨,求指点javascript初级视频教程
  • 经过URL抓取网页的TITLE,有些网站抓不到,方法愚笨,求指点jquery 基础视频教程
  • 视频教程分类