...
通过URL抓取网页的TITLE,有些网站抓不到,方法愚笨,求指点。
本帖最后由 u012716911 于 2013-11-04 11:25:29 编辑
代码是我自己这样想着写的,不知道还有没有更好的方法。请各位给些指点
有些网站可以抓到,如百度,有些网站就抓不到,比如太平洋汽车的首页。
public function set_title()
{
// 获取进来URL
$url = $_POST['url'];
// $url = "www.pcauto.com.cn"; 抓不到!
//一连串的curl设置
$ch = curl_init();
curl_setopt($ch,CURLOPT_URL,$url);
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_ENCODING,'gzip');
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$content_source = curl_exec($ch);
curl_close($ch);
//获取抓到内容的编码格式
$encode = mb_detect_encoding($content_source, array('GB2312','GBK','UTF-8','ASCII'));
//转码
$content_source = iconv($encode, 'utf-8//IGNORE',$content_source);
//截取
if(preg_match("/(.*?)/i",$content_source,$title))
{
echo $title[1];
}
else
{
echo '拉取标题失败';
}
}
网友评论
文明上网理性发言,请遵守 新闻评论服务协议
我要评论