php采集csdn首页新闻

function csdn(){//$uid采集文章的分类

$url="http://www.csdn.net";

$ch = curl_init();

curl_setopt ($ch, CURLOPT_URL,$url);

curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, 5);

curl_setopt($ch,CURLOPT_ENCODING ,'utf8');

$content = curl_exec($ch);

preg_match_all("/http\:\/\/\w*\.csdn\.net\/a\/\d*\/\d*\.html/",$content,$match);

$weburl=$match[0];

$weburl=array_unique($weburl);

$j=0;

foreach($weburl as $i=>$vo){

curl_setopt ($ch, CURLOPT_URL,$vo);

$content = curl_exec($ch);

preg_match_all("/\

(.*)\|\

/",$content,$match);

if(!emptyempty ( $match[2][1])){

$list[$j]['content']=$match[2][1];

$list[$j]['title']=$match[1][0];

$j++;

}

}

print_r($list);

}

?>

很容易看出

$list就是收集到的新闻,形式是一个二维数组

如果要把他保存到你的数据库,我就不解释了...

其中注意判断是否与你数据库的文章重复

可以通过md5加密标题然后与你数据库的文章标题md5加密后比对,若真.,则表示你数据库有同样的文章

注意这里希望大家复制不要手工复制,请查看源代码方法复制.....

因为表面的代码跟实际代码貌似有出入

如果你是thinkphp的话..www.2cto.com..那就跟我的一样了...下面贴出更方便的代码直接添加数据库,包括重复数据判断:

function csdn($uid){//$uid采集文章的分类

$url="http://www.csdn.net";

$ch = curl_init();

curl_setopt ($ch, CURLOPT_URL,$url);

curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, 5);

curl_setopt($ch,CURLOPT_ENCODING ,'utf8');

$content = curl_exec($ch);

preg_match_all("/http\:\/\/\w*\.csdn\.net\/a\/\d*\/\d*\.html/",$content,$match);

$weburl=$match[0];

$weburl=array_unique($weburl);

$j=0;

foreach($weburl as $i=>$vo){

curl_setopt ($ch, CURLOPT_URL,$vo);

$content = curl_exec($ch);

preg_match_all("/\

(.*)\|\

/",$content,$match);

if(!emptyempty($match[2][1])){

$list[$j]['content']=$match[2][1];

$list[$j]['title']=$match[1][0];

$j++;

}

}

$db=M('news');

$news=$db->where("uid=".$uid)->select();

$flag=true;

foreach($list as $i=>$vo){

foreach($news as $j=>$value){

if(md5($value['title'])==md5($vo['title'])){

$flag=false;

break;

}

}

if($flag){

$vo['uid']=$uid;

$vo['date']=date('Y-j-m H:i:s');

$vo['author']=Session::get("admin");

$vo['iscommand']=1;

$rs=$db->add($vo);

}

$flag=true;

}

}

?>

摘自 zouhao619的专栏

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系[e-mail]核实处理。

相关文章

相关视频

---

• PHP两种方法生成强密码
• jquery分页，谁做过的，拿代码看下呢
• PHP脚本的8个技巧(1)
• CI框架源码阅读---------Input.ph...
• php采集csdn首页新闻

• PHP开发基础教程之简介
• PHP新手入门之简介
• PHP开发基础教程之环境搭建
• php学习路线介绍
• php环境配置

网友评论

文明上网理性发言，请遵守 新闻评论服务协议

我要评论

立即提交

专题推荐

• 独孤九贱-php全栈开发教程

  全栈 170W+

  主讲：Peter-Zhu 轻松幽默、简短易学，非常适合PHP学习入门

• 玉女心经-web前端开发教程

  入门 80W+

  主讲：灭绝师太 由浅入深、明快简洁，非常适合前端学习入门

• 天龙八部-实战开发教程

  实战 120W+

  主讲：西门大官人 思路清晰、严谨规范，适合有一定web编程基础学习