欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  php教程

献给所有想学习正则和采集的朋友

程序员文章站 2022-05-25 10:46:10
...

function get_url_content($Url,$Method = c) {
//引入需要的语言编码.如果没有, 就会默认为utf-8,不必担心.
global $Charset;
$Urlarr = parse_url($Url);
//如果检测不出域名,就返回.
if (!isset($Urlarr[host])) {
return false;
}
//我们用智能方式定义header头倍信息.
foreach (@getallheaders() as $key => $val){
$key===Host && $val = $Urlarr[host];
$key===Referer && $val =http://.$Urlarr[host];
$str .= "$key:$val, ";
}
//虚拟来路.
!eregi(Referer,$str) && $str .="Referer:http://{$Urlarr[host]}, ";
//经过修正, 基本上, 来路也是那个站, 主机也是Url站点.
$Header = array(trim($str));
//下面仅仅是选择用哪个程序来采集.
if($Method === f&&function_exists(file_get_contents)) {
$opts = array(
http=>array(
method=>"GET",
header=>$Header,
)
);
$cxContext = stream_context_create($opts);
$file_contents = @file_get_contents($Url, false, $cxContext);
} elseif ($Method === c&&function_exists(curl_init)) {
$Ch = curl_init();
$Timeout = 5;
curl_setopt($Ch,CURLOPT_HTTPHEADER,$Header);
curl_setopt ($Ch, CURLOPT_URL, $Url);
curl_setopt ($Ch, CURLOPT_RETURNTRANSFER,1);
curl_setopt ($Ch, CURLOPT_CONNECTTIMEOUT, $Timeout);
$file_contents = curl_exec($Ch);
curl_close($Ch);
}
//为了让样式显示得漂亮,我们给它加一句目标引向.
$file_contents = str_replace(," ",$file_contents);
//处理最常见的几种编码, 如果目标网站没有编码, 就默认为GBK
!preg_match(/charset=([^"]*)"/isU,$file_contents,$lang) && $lang[1]=GBK;
function_exists(mb_convert_encoding) && $file_contents = mb_convert_encoding($file_contents,empty($Charset)?UTF-8:$Charset,$lang[1]);
//注销部分代码;
unset($Url,$lang,$Timeout,$Urlarr,$Charset);
return $file_contents;
}

//测试开始 测试用file_get_contents方式
HEADER("CONTENT-TYPE:TEXT/HTML; CHARSET=UTF-8");
//http://www.xtzj.com/read-htm-tid-347550.html 这是采集不到.
$file = get_url_content("http://www.hao123.com",f);
$file = strip_tags($file,);
preg_match_all(/(http:[^"]*)>/isU,$file,$link);unset($link[0]);
$link = $link[1];

//我们来模拟获得数据. 自己更换数字.0-151 下面是用curl方式
$x = 10;
$file = get_url_content($link[$x]);
echo $file;
?>

全部写上说明, 注释..

有不明白的回复.. 我来给采集普及一下知识.

原文地址:http://bbs.phpchina.com/viewthread.php?tid=99263