php使用curl和正则表达式抓取网页数据示例

程序员文章站 2022-06-16 18:30:59

...

利用curl和正则表达式做的一个针对磨铁中文网非vip章节的小说抓取器，支持输入小说ID下载小说。
依赖项：curl
可以简单的看下，里面用到了curl ,正则表达式，ajax等技术，适合新手看看。在本地测试，必须保证联网并且确保php开启curl的mode

SpiderTools.class.php

复制代码代码如下:

session_start();
//封装成类开启这些自动抓取文章
#header("Refresh:30;http://www.test.com:8080");
class SpiderTools{
//////////////////////////////////////////////////////////////////////////////////////////////////////////
/*传入文章ID 解析出文章标题*/
//////////////////////////////////////////////////////////////////////////////////////////////////////////
public function getBookNameById($aid){
//初始化curl
$ch= curl_init();
//url
$url='http://www.motie.com/book/'.$aid;
if(is_numeric($aid)){
//正则表达式匹配
$ru="/

\s(.)\s\s/";
}
else{
//丧尸爆发之全家求生路_第一章丧尸爆发　为吾友爱乐儿更新~_磨铁
$ru="/(.)/"; } //设置选项，包括URL curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容 curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); //执行curl $output = curl_exec($ch); //错误提示 if(curl_exec($ch) === false){ die(curl_error($ch)); } // 检查是否有错误发生 if(curl_errno($ch)){ echo 'Curl error: ' . curl_error($ch); } //释放curl句柄 curl_close($ch); $arr=array(); preg_match_all($ru,$output,$arr); return $arr[1][0]; } ////////////////////////////////////////////////////////////////////////////////////////////////////////// /传入文章ID 解析文章内容/ ////////////////////////////////////////////////////////////////////////////////////////////////////////// public function getBookContextById($aid){ //开始解析文章 $ids=array(); $ids=explode("_",$aid); $titleId=trim($ids[0]); $aticleId=trim($ids[1]); $ch= curl_init(); $ru="/<div class='\"page-content\"'>[\s\S]<pre ondragstart='\"return' false oncopy='\"return' oncut='\"return' oncontextmenu='\"return' class='\"note\"' id='\"html_content_\d\"'>[\s\S](.)<img onerror="this.src='/statics/superweb999/images/image_error.jpg'"src="/default/index/img?u=XCJcL2FqYXhcL2NoYXB0ZXJcLyR0aXRsZUlkXC8kYXRpY2xlSWRcIg==" class='\"hidden\"' alt="php使用curl和正则表达式抓取网页数据示例" title="php使用curl和正则表达式抓取网页数据示例">/ui"; $url='http://www.motie.com/book/'.$aid; //正则表达式匹配 //设置选项，包括URL curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容 curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); //执行curl $output = curl_exec($ch); //错误提示 if(curl_exec($ch) === false){ die(curl_error($ch)); } // 检查是否有错误发生 if(curl_errno($ch)){ echo 'Curl error: ' . curl_error($ch); } $arr=array(); $arr2=array(); preg_match_all($ru,$output,$arr); curl_close($ch); #var_dump($arr); $s=$arr[0][0]; $s=substr($s,180); $arr2=explode("<img onerror="this.src='/statics/superweb999/images/image_error.jpg'"src="/default/index/img?u=" alt="php使用curl和正则表达式抓取网页数据示例" title="php使用curl和正则表达式抓取网页数据示例"> return trim($arr2[0]); } ////////////////////////////////////////////////////////////////////////////////////////////////////////// /静态方法 @生成小说文件可以直接调用 / ////////////////////////////////////////////////////////////////////////////////////////////////////////// public static function createBookById($id){ if(!is_numeric($id)){ echo " INIT BEGIN START WRITE!"; $st=new self(); $cons=$st->getBookContextById($id); $title=$st->getBookNameById($id); $cons=trim($cons); $t=explode(" ",$title); //构造目录 $dir=array(); $dir=explode("_",$t[0]); $wzdir=$dir[0]; //书名称作为目录名称 $wzchapter=$dir[1]; //第几章 //创建目录 $wzdir2=iconv("UTF-8", "GBK", $wzdir);//目录编码注意这里保留对$wzdir字符串的引用，用来构造文件名，不能用此处，防止二次编码 if(!file_exists($wzdir2)){ mkdir($wzdir2); //创建目录 } //构造文件名 $wztitle="./".$wzdir."/"."$t[0]".".txt"; //保证保存的文件名称不是乱码 $wztitle=iconv("UTF-8", "GBK", $wztitle); $f=fopen($wztitle,"w+"); fwrite($f,$cons); echo "$wzdir ".$wzchapter."写入成功"; fclose($f); } else{ $ids=self::getBookIdsById($id); //这里服务器可能会掉线，所以最好用session记录循环 #for($i=$_SESSION["$id"."_fid"];$i #self::createBookById($id."_".$ids[$_SESSION["$id"."_fid"]++]);//构造id #} for($i=$_SESSION["$id"."_fid"];$i self::createBookById($id."_".$ids[$i]);//构造id } #echo "<hr><hr> <h1>写入工作全部完成</h1>"; #echo $id."_".$ids[0]." "; #var_dump($ids); } } / 获取小说的所有ID @param $id 文章ID @return array; / public static function getBookIdsById($aid){ $ch= curl_init(); $url='http://www.motie.com/book/'.$aid."/chapter"; //注意这里的?可以获取最少匹配项 $ru='/[\s\S]?</pre> <li class='\"\"' createdate='\"\d{4}\-\d{2}\-\d{2}'>[\s\S]?<a href="/default/index/url?u=aHR0cHM6Ly93d3cucGhwLmNuXCJcL2Jvb2tcLycuJGFpZC4nXyhcZCo/KVwiXHN7MX0=" target="_blank" rel="nofollow">.?.*?/u';//正则表达式匹配 //设置选项，包括URL curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容 curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); //执行curl $output = curl_exec($ch); // 检查是否有错误发生 if(curl_errno($ch)){ echo 'Curl error: ' . curl_error($ch); } //释放curl句柄 curl_close($ch); $arr=array(); preg_match_all($ru,$output,$arr,PREG_PATTERN_ORDER); return $arr[1]; } } ?> getinfo.php 复制代码 代码如下: <?php session_start(); require_once("SpiderTools.class.php"); if($_REQUEST["bid"]){ if(is_numeric($_REQUEST["bid"])){ SpiderTools::createBookById(trim($_REQUEST["bid"])); } else{ echo " 请输入正确的文章ID "; } } ?> index.html 复制代码 代码如下: <meta http-equiv="Content-Type" content="text/html;charset=UTF-8"> <meta charset="utf-8"> <title>下载小说啦

输入磨铁中文网你想看到的小说ID号就可以下载小说啦

function stateChanged()
{
if(xmlHttp.readyState==1){

document.getElementById("info").innerHTML="正在准备工作，请耐心点哦~^_^~
";
}
if(xmlHttp.readyState==2){

document.getElementById("info").innerHTML="正在联系服务器，这可能需要一点时间啦^>";
}

if(xmlHttp.readyState==3){

document.getElementById("info").innerHTML="正在解析数据
";
}

if (xmlHttp.readyState==4 || xmlHttp.readyState=="complete")
{

document.getElementById("info").innerHTML=xmlHttp.responseText;
//xmlHttp.abort();

}

}

function GetXmlHttpObject()
{
var xmlHttp=null;
try
{
// Firefox, Opera 8.0+, Safari
xmlHttp=new XMLHttpRequest();
}
catch (e)
{
//Internet Explorer
try
{
xmlHttp=new ActiveXObject("Msxml2.XMLHTTP");
}
catch (e)
{
xmlHttp=new ActiveXObject("Microsoft.XMLHTTP");
}
}
return xmlHttp;
}

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn核实处理。

php使用curl和正则表达式抓取网页数据示例

输入磨铁中文网你想看到的小说ID号就可以下载小说啦

linux - php的curl_multi是否是真正的多线程抓取网页数据？

php使用curl抓取qq空间的访客信息示例

php使用curl检测网页是否被百度收录的示例分享