欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

php curl采集站外内容示例代码

程序员文章站 2022-03-29 12:11:25
...
  1. // 初始化一个 cURL 对象
  2. $curl = curl_init();
  3. // 设置你需要抓取的URL
  4. curl_setopt($curl, CURLOPT_URL, 'http://bbs.it-home.org');
  5. // 设置header
  6. curl_setopt($curl, CURLOPT_HEADER, 1);
  7. // 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上。
  8. curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
  9. // 运行cURL,请求网页
  10. $data = curl_exec($curl);
  11. // 关闭URL请求
  12. curl_close($curl);
复制代码

3、通过正则匹配找到关键数据

  1. //$data是curl_exec返回的的值,即采集的目标内容
  2. preg_match_all("/
  3. (.*?)/",$data, $out, PREG_SET_ORDER);
  4. foreach($out as $key => $value){
  5. //此处$value是数组,同时记录找到带匹配字符的整句和单独匹配的字符
  6. echo '匹配到的整句:'.$value[0].'
  7. ';
  8. echo '单独匹配到的:'.$value[1].'
  9. ';
  10. }
复制代码

PHP curl的技巧 1、超时的相关设置 通过curl_setopt($ch, opt) 可以设置一些超时的设置,主要包括: CURLOPT_TIMEOUT 设置cURL允许执行的最长秒数。 CURLOPT_TIMEOUT_MS 设置cURL允许执行的最长毫秒数。 (在cURL 7.16.2中被加入。从PHP 5.2.3起可使用。 ) CURLOPT_CONNECTTIMEOUT 在发起连接前等待的时间,如果设置为0,则无限等待。 CURLOPT_CONNECTTIMEOUT_MS 尝试连接等待的时间,以毫秒为单位。如果设置为0,则无限等待。 在cURL 7.16.2中被加入。从PHP 5.2.3开始可用。 CURLOPT_DNS_CACHE_TIMEOUT 设置在内存中保存DNS信息的时间,默认为120秒。

2、通过post提交数据,保留cookie

  1. //Curl 模拟登录 discuz 程序,适合DZ7.0

  2. !extension_loaded('curl') && die('The curl extension is not loaded.');

  3. $discuz_url = 'http://bbs.it-home.org';//论坛地址

  4. $login_url = $discuz_url .'/logging.php?action=login';//登录页地址
  5. $get_url = $discuz_url .'/my.php?item=threads'; //我的帖子
  6. $post_fields = array();

  7. //以下两项不需要修改
  8. $post_fields['loginfield'] = 'username';
  9. $post_fields['loginsubmit'] = 'true';
  10. //用户名和密码,必须填写
  11. $post_fields['username'] = 'jbxue';
  12. $post_fields['password'] = '88888888';
  13. //安全提问
  14. $post_fields['questionid'] = 0;
  15. $post_fields['answer'] = '';
  16. //@todo验证码
  17. $post_fields['seccodeverify'] = '';
  18. //获取表单FORMHASH

  19. $ch = curl_init($login_url);
  20. curl_setopt($ch, CURLOPT_HEADER, 0);
  21. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  22. $contents = curl_exec($ch);
  23. curl_close($ch);
  24. preg_match('//i', $contents, $matches);
  25. if(!empty($matches)) {
  26. $formhash = $matches[1];
  27. } else {
  28. die('Not found the forumhash.');
  29. }
  30. //POST数据,获取COOKIE

  31. $cookie_file = dirname(__FILE__) . '/cookie.txt';
  32. //$cookie_file = tempnam('/tmp');
  33. $ch = curl_init($login_url);
  34. curl_setopt($ch, CURLOPT_HEADER, 0);
  35. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  36. curl_setopt($ch, CURLOPT_POST, 1);
  37. curl_setopt($ch, CURLOPT_POSTFIELDS, $post_fields);
  38. curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);
  39. curl_exec($ch);
  40. curl_close($ch);
  41. //带着上面得到的COOKIE获取需要登录后才能查看的页面内容

  42. $ch = curl_init($get_url);
  43. curl_setopt($ch, CURLOPT_HEADER, 0);
  44. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);
  45. curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
  46. $contents = curl_exec($ch);
  47. curl_close($ch);
  48. var_dump($contents);

复制代码