多线程的cURL

本处是一个可以灵活的多线程的调用 cURL的。
这里跟php手册 http://us2.php.net/manual/zh/function.curl-multi-select.php 中提供的样例不同，代码执行效率要高不少
本处两个文件，一个是muti_curl的文件，里面包含两个class
一个是运用的方法，这里是批量检查代理ip是否可用

2. class request_setting {
3. public $url = false;
4. public $method = 'GET';
5. public $post_data = null;
6. public $headers = null;
7. public $options = null;
8. function __construct($url, $method = "GET", $post_data = null, $headers = null, $options = null) {
9. $this->url = $url;
10. $this->method = $method;
11. $this->post_data = $post_data;
12. $this->headers = $headers;
13. $this->options = $options;
14. }
15. public function __destruct() {
16. unset($this->url, $this->method, $this->post_data, $this->headers, $this->options);
17. }
18. }
19. /***********************************************************************************************
20. 批量操作的类
21. *******************************************************************************************/
22. class muti_curl {
23. protected $thread_size = 100;
24. protected $timeout = 30;
25. private $callback;
26. protected $options = array(
27. CURLOPT_SSL_VERIFYPEER => false,//禁用后cURL将终止从服务端进行验证。使用CURLOPT_CAINFO选项设置证书使用CURLOPT_CAPATH选项设置证书目录 如果CURLOPT_SSL_VERIFYPEER(默认值为2)被启用，CURLOPT_SSL_VERIFYHOST需要被设置成TRUE否则设置为FALSE。 自cURL 7.10开始默认为TRUE。从cURL 7.10开始默认绑定安装。
28. CURLOPT_RETURNTRANSFER => true, //将 curl_exec()获取的信息以文件流的形式返回，而不是直接输
29. CURLOPT_CONNECTTIMEOUT => 15,
30. CURLOPT_TIMEOUT => 30,
31. // CURLOPT_HTTP_VERSION=>CURL_HTTP_VERSION_1_0, //使用代理的时候用这个去抓取数据，更爽
32. // CURLOPT_AUTOREFERER=>false,// 当根据Location:重定向时，自动设置header中的Referer:信息。
33. // CURLOPT_BINARYTRANSFER=>false, //在启用CURLOPT_RETURNTRANSFER的时候，返回原生的（Raw）输出这个不用设置。
34. // CURLOPT_COOKIESESSION=>true,// 启用时curl会仅仅传递一个session cookie，忽略其他的cookie，默认状况下cURL会将所有的cookie返回
35. // CURLOPT_CRLF=>false,// 启用时将Unix的换行符转换成回车换行符。
36. // CURLOPT_DNS_USE_GLOBAL_CACHE=>false, // 启用时会启用一个全局的DNS缓存，此项为线程安全的，并且默认启用。
37. // CURLOPT_FAILONERROR=>false, // 显示HTTP状态码，默认行为是忽略编号小于等于400的HTTP信息。
38. // CURLOPT_FILETIME=>true, //启用时会尝试修改远程文档中的信息。结果信息会通过 curl_getinfo()函数的CURLINFO_FILETIME选项返回。 curl_getinfo().
39. // CURLOPT_FOLLOWLOCATION=>false, // 启用时会将服务器服务器返回的"Location: "放在header中递归的返回给服务器，使用CURLOPT_MAXREDIRS可以限定递归返回的数量。
40. // CURLOPT_FORBID_REUSE=>true, //在完成交互以后强迫断开连接，不能重用。
41. // CURLOPT_FRESH_CONNECT=>true,// 强制获取一个新的连接，替代缓存中的连接。
42. // CURLOPT_FTP_USE_EPRT=>false,// 启用时当FTP下载时，使用EPRT (或 LPRT)命令。设置为FALSE时禁用EPRT和LPRT，使用PORT命令 only.
43. // CURLOPT_FTP_USE_EPSV=>false,// 启用时，在FTP传输过程中回复到PASV模式前首先尝试EPSV命令。设置为FALSE时禁用EPSV命令。
44. // CURLOPT_FTPAPPEND=>false,// 启用时追加写入文件而不是覆盖它。
45. // CURLOPT_FTPASCII=>false,// CURLOPT_TRANSFERTEXT的别名。
46. // CURLOPT_FTPLISTONLY=>false,// 启用时只列出FTP目录的名字。
47. // CURLOPT_HEADER=>true,// 启用时会将头文件的信息作为数据流输出。
48. // CURLINFO_HEADER_OUT=>false, //启用时追踪句柄的请求字符串。
49. // CURLOPT_HTTPGET=>true,// 启用时会设置HTTP的method为GET，因为GET是默认是，所以只在被修改的情况下使用。
50. // CURLOPT_HTTPPROXYTUNNEL =>true,// 启用时会通过HTTP代理来传输。
51. // CURLOPT_MUTE=>true,// 启用时将cURL函数中所有修改过的参数恢复默认值。
52. // CURLOPT_NETRC=>false,// 在连接建立以后，访问~/.netrc文件获取用户名和密码信息连接远程站点。
53. // CURLOPT_NOBODY=>true, 启用时将不对HTML中的BODY部分进行输出。
54. // CURLOPT_NOPROGRESS=>false,//启用时关闭curl传输的进度条，此项的默认设置为启用。
55. // CURLOPT_NOSIGNAL=>false,// 启用时忽略所有的curl传递给php进行的信号。在SAPI多线程传输时此项被默认启用。 cURL 7.10时被加入。
56. // CURLOPT_POST=>false,// 启用时会发送一个常规的POST请求，类型为：application/x-www-form-urlencoded，就像表单提交的一样。
57. // CURLOPT_PUT=>false,// 启用时允许HTTP发送文件，必须同时设置CURLOPT_INFILE和CURLOPT_INFILESIZE。
58. // CURLOPT_TRANSFERTEXT=>false,// 启用后对FTP传输使用ASCII模式。对于LDAP，它检索纯文本信息而非HTML。在Windows系统上，系统不会把STDOUT设置成binary模式。
59. // CURLOPT_UNRESTRICTED_AUTH=>true,// 在使用CURLOPT_FOLLOWLOCATION产生的header中的多个locations中持续追加用户名和密码信息，即使域名已发生改变。
60. // CURLOPT_UPLOAD=>false,// 启用后允许文件上传。
61. // CURLOPT_VERBOSE =>true,// 启用时会汇报所有的信息，存放在STDERR或指定的CURLOPT_STDERR中。
62. );
63. private $headers = array();
64. private $requests = array();
65. private $requestMap = array();
66. /*********************
67. 构造一个callback的函数
68. ********************/
69. function __construct($callback = null) {
70. $this->callback = $callback;
71. }
73. /********************************************************************
74. 重载 __get的方法
75. *******************************************************************/
76. public function __get($name) {
77. return (isset($this->{$name})) ? $this->{$name} : null;
78. }
80. /*********************************************************************
81. 重载 __set的方法
82. *******************************************************/
83. public function __set($name, $value) {
84. // 增加一个设置到headers
85. if ($name == "options" || $name == "headers") {
86. $this->{$name} = $value + $this->{$name};
87. } else {
88. $this->{$name} = $value;
89. }
90. return true;
91. }
92. //增加一个请求
93. public function add($request) {
94. $this->requests[] = $request;
95. return true;
96. }
99. public function request($url, $method = "GET", $post_data = null, $headers = null, $options = null) {
100. $this->requests[] = new request_setting($url, $method, $post_data, $headers, $options);
101. return true;
102. }
104. public function get($url, $headers = null, $options = null) {
105. return $this->request($url, "GET", null, $headers, $options);
106. }
108. public function post($url, $post_data = null, $headers = null, $options = null) {
109. return $this->request($url, "POST", $post_data, $headers, $options);
110. }
112. private function single_curl() {
113. $ch = curl_init(); //初始化
114. $request = array_shift($this->requests);//把第一个单元移出并作为结果
115. $options = $this->get_options($request);//获得该单元的设置
116. curl_setopt_array($ch, $options);//批设置
117. $output = curl_exec($ch);
118. $curl_info = curl_getinfo($ch);
120. if ($this->callback) {
121. $callback = $this->callback;
122. if (is_callable($this->callback)) {
123. call_user_func($callback, $output, $curl_info, $request);
124. }
125. }
126. else
127. return $output;
128. return true;
129. }
132. private function rolling_curl($thread_size = null) {
133. if ($thread_size){
134. $this->thread_size = $thread_size;
135. }
137. if (count($this->requests) thread_size){
138. $this->thread_size = count($this->requests);
139. }
140. if ($this->thread_size $errorinfo = '线程大小必须大于 1!!!!';
141. throw new Exception($errorinfo);
142. }
143. $queue = curl_multi_init();
145. //在线程里开始增加任务队列
146. for ($i = 0; $i thread_size; $i++) {
147. $ch = curl_init();
148. $options = $this->get_options($this->requests[$i]);
149. curl_setopt_array($ch, $options);//获得设置
150. curl_multi_add_handle($queue, $ch);//添加进去
151. $key = (string) $ch;
152. $this->requestMap[$key] = $i;
153. }
154. do {
155. while (($statu_run_muti_exec = curl_multi_exec($queue, $active)) == CURLM_CALL_MULTI_PERFORM) ;
156. if ($statu_run_muti_exec != CURLM_OK){ break; }
157. // 发现完成的一个请求，进行处理
158. while ($done = curl_multi_info_read($queue)) {
159. $curl_info = curl_getinfo($done['handle']);
160. $output = curl_multi_getcontent($done['handle']);
161. $callback = $this->callback;
162. if (is_callable($callback)){
163. $key = (string) $done['handle'];
164. $request = $this->requests[$this->requestMap[$key]];
165. unset($this->requestMap[$key]);//这个销毁变量用得很帅
166. call_user_func($callback, $output, $curl_info, $request);
167. }
168. //增加一个未处理的请求加入到一个已经完成的队列中
169. if ($i requests) && isset($this->requests[$i]) && $i requests)) {
170. $ch = curl_init();
171. $options = $this->get_options($this->requests[$i]);
172. curl_setopt_array($ch, $options);
173. curl_multi_add_handle($queue, $ch);
174. $key = (string) $ch;
175. $this->requestMap[$key] = $i;
176. $i++;
177. }
178. curl_multi_remove_handle($queue, $done['handle']);
179. echo "done ";
180. print_r($queue);
181. print_r ($done);
182. }
183. // 这一步非常非常重要如果有一个完成后，要重新设置设置timeout的时间
184. //这里很关键的一点，就是要保证第一次所有的线程里的请求最少有一个是有效的，否则就出现第一次所有的都没有效果，导致 $active=0,因此不执行下面的东西
185. if ($active >0){
186. curl_multi_select($queue, $this->timeout);
187. }
189. } while ($active);
190. curl_multi_close($queue);
191. return true;
192. }
193. public function execute($thread_size = null) {
194. //判断thread_size的大小如果只有一个请求，就用单线程模式
195. if (count($this->requests) == 1) {
196. return $this->single_curl();
197. } else {
198. return $this->rolling_curl($thread_size);
199. }
200. }
201. private function get_options($request) {
202. $options = $this->__get('options');
203. if (ini_get('safe_mode') == 'Off' || !ini_get('safe_mode')) {
204. // $options[CURLOPT_FOLLOWLOCATION] = 1;
205. // $options[CURLOPT_MAXREDIRS] = 5;
206. }
207. $headers = $this->__get('headers');
209. if ($request->options) {
210. $options = $request->options + $options;
211. }
212. $options[CURLOPT_URL] = $request->url;
213. //下面分别对post选项与header选项进行设置
214. if ($request->post_data){
215. $options[CURLOPT_POST] = 1;
216. $options[CURLOPT_POSTFIELDS] = $request->post_data;
217. }
218. if ($headers) {
219. $options[CURLOPT_HEADER] = 0;
220. $options[CURLOPT_HTTPHEADER] = $headers;
221. }
222. return $options;
223. }
225. public function __destruct() {
226. unset($this->thread_size, $this->callback, $this->options, $this->headers, $this->requests);
227. }
228. }
229. ?>

复制代码

1. header("content-type:text/html; charset=utf-8");
2. require("muti_curl_class.php");
3. set_time_limit(0);
4. $sucesesnum=0;
5. $good_proxy=array();
6. function request_callback($response, $info, $request) {
7. global $sucesesnum,$good_proxy;
8. // 下面的正则可以对返回的结果进行选择性显示
9. /* if (preg_match("~~i", $response, $out)) {
10. $title = $out[1];
11. }*/
12. // echo '
    '.$response .'
    ';
13. echo '
    ';
14. //对响应也就是 $response 进行检测判断里面是否有设定的字符，如果有判断运用该代理成功
15. if( $response !== false && substr_count($response, 'User-agent: Baiduspider') >=1 ) {
16. // $result = true;
17. echo "true
    ";
18. // echo $request[options][10004];
19. // print_r ($request->options);
20. echo $request->options[CURLOPT_PROXY];
21. $good_proxy[]=$request->options[CURLOPT_PROXY];
22. }
23. echo '
    the-->'. $sucesesnum.'// print_r ($request);
24. //echo $request->url;
25. $sucesesnum++;
26. echo "

    ---

    ";
27. }
28. $params = array_merge($_GET, $_POST); //此处获得传递过来的代理ip的地址
29. $result = $proxy_ip = trim($params['ip']);
30. $timeout=intval(trim($params['timeout']));
31. if($timeoutif($timeout>300){$timeout=300;}
32. $thread_size=intval(trim($params['thread_size']));
33. if($thread_sizeif($thread_size>300){$thread_size =300;}
35. if($proxy_ip == '') {
36. echo '请输入IP!!';
37. return;
38. }
39. $replace_arr1 = array(' ', 'qq代理：', 'dn28.com', 'qqip', 'qq代理', 'qq代理ip', '代理ip：', 'ip：', '代理ip','"',"'",'\\','/',' ');
40. $result = str_replace($replace_arr1, array(''), $result);
41. $result = str_replace(",", "\n", $result);
42. $resArr = explode("\n", $result);
43. foreach($resArr as $k => $v) {
44. $posProxy = getPos($v, '@');
45. if($posProxy===false){
46. if (!empty($v)){$proxyip_and_port = $v; }
47. }else{
48. $proxyip_and_port = substr($v, 0, $posProxy);
49. }
50. $newRes[] =trim($proxyip_and_port);
51. }
52. print_r($newRes);
53. //die();
54. $option_setting = array(
55. CURLOPT_SSL_VERIFYPEER => 0,
56. CURLOPT_RETURNTRANSFER => true,
57. CURLOPT_CONNECTTIMEOUT => 5,
58. CURLOPT_TIMEOUT => 30,
59. CURLOPT_HEADER=>false,
60. CURLOPT_PROXY=>'',//这个地方设置代理的位置
61. );
62. $url= 'http://www.baidu.com/robots.txt';
63. $btime=time();
64. $rc = new muti_curl("request_callback");
65. $rc->timeout = $timeout;
66. $rc->thread_size = $thread_size;
67. foreach ($newRes as $v) {
68. $option_setting[CURLOPT_PROXY]=$v;
69. $request = new request_setting($url, $method = "GET", $post_data = null,$header= null, $option_setting);
70. $rc->add($request);
71. }
72. $rc->execute();
73. $etime=time();
74. $usedtime=$etime-$btime;
75. echo 'all'. $sucesesnum.'use'. $usedtime;
76. echo '

    ---

    ';
77. $good_proxy= array_unique($good_proxy);
78. $str='';
79. foreach ($good_proxy as $v){
80. $str.="'".trim($v)."',";
81. }
82. $str= str_replace ( ' ' , '' ,$str );
83. $str = preg_replace('/\s+/', ' ', $str);
84. echo $str.'
    ';
85. var_export ($good_proxy);
86. //var_dump ($good_proxy);
100. //**************************************************************************************************
101. //*******************************只用了一个函数
103. function parseProxyInfo ( $proxyStr ) {
104. //$proxyStr = '202.115.207.25:80@HTTP;四川省成都市 四川师范大学';
105. $posIp = getPos($proxyStr, ':');
106. $ip = substr($proxyStr, 0, $posIp);
107. $posPort = getPos($proxyStr, '@');
108. $port = substr($proxyStr, $posIp+1, $posPort-$posIp-1);
109. $posType = getPos($proxyStr, ';');
110. $type = substr($proxyStr, $posPort+1, $posType-$posPort-1);
111. $location = substr(strstr($proxyStr, ';'), 1);
112. return array(
113. 'ip' => $ip,
114. 'port' => $port,
115. 'type' => $type,
116. 'location' => $location
117. );
118. }
120. function getPos($haystack, $needle){
121. return strpos($haystack, $needle);
122. }
124. function check_proxy_is_useful($model, $proxy_info_arr = array()) {
125. global $params, $config;
126. if($model == 'single') {
127. $proxy_port = intval(trim($params['port']));
128. $check_proxy_url = $config['verify_url'];
129. $proxy_time_out = intval(trim($params['timeout']));
130. $retry = intval(trim($params['retry']));
131. $proxy_ip = trim($params['ip']);
132. $proxy = new proxy( $proxy_ip, $proxy_port, $check_proxy_url, $proxy_time_out, $retry );
133. //成功返回string success, 失败返回boolean false
134. $result = $proxy -> check_proxy();
135. //var_dump($result);
136. $proxy_str_success = ''.$proxy_ip.':'.$proxy_port.'@'.'HTTP 代理验证成功!';
137. $proxy_str_failed = ''.$proxy_ip.':'.$proxy_port.'@'.'HTTP 代理验证失败!';
138. return $result !== false ? $proxy_str_success : $proxy_str_failed;
139. } elseif ($model == 'collect') {
140. $proxy_port = intval(trim($proxy_info_arr['port']));
141. $check_proxy_url = $config['verify_url'];
142. $proxy_time_out = intval(trim($params['timeout']));
143. $retry = intval(trim($params['retry']));
144. $proxy_ip = trim($proxy_info_arr['ip']);
145. /*echo $proxy_ip.'
     ';
146. echo $proxy_port.'
     ';
147. echo $check_proxy_url.'
     ';
148. echo $proxy_time_out.'
     ';
149. echo $retry.'
     ';*/
150. if(!isset($proxy)) {
151. $proxy = new proxy( $proxy_ip, $proxy_port, $check_proxy_url, $proxy_time_out, $retry );
152. }
153. //成功返回string success, 失败返回boolean false
154. $result = $proxy -> check_proxy();
155. return $result;
156. }
157. }
159. function get_single(){
160. global $params, $config;
161. $proxy_ip = trim($params['ip']);
162. if($proxy_ip == '') {
163. echo '请输入IP!!';
164. return;
165. }
166. echo check_proxy_is_useful('single');
167. }
169. function get_proxy_by_collect(){
170. global $params, $config;
171. $params['url'] = trim($params['url']);
172. if($params['url'] == '') {
173. echo '请输入url!';
174. return;
175. }
176. //$url = 'http://www.dn28.com/html/75/n-5175.html';
177. $con = iconv('GBK', 'UTF-8', file_get_contents($params['url']));
178. preg_match ('/(.*)
     
     /s', $con, $arr);
179. $result = strip_tags ($arr[1], '
     ');
180. $replace_arr1 = array(' ', 'qq代理：', 'dn28.com', 'qqip', 'qq代理', 'qq代理ip', '代理ip：', 'ip：', '代理ip');
181. $result = str_replace($replace_arr1, array(''), $result);
182. //print_r($arr);
183. $resArr = explode('
     ', $result);
184. //print_r($resArr);
185. echo '

     代理开始批量验证中，整个过程将会花费您几分钟时间。

     ';
186. unset($_SESSION['success_arr']);
187. foreach($resArr as $k => $v) {
188. $newRes[$k] = parseProxyInfo($v);
189. //print_r($newRes[$k]);
190. /*return;*/
191. $result = check_proxy_is_useful('collect', $newRes[$k]);
192. $proxy_str_success = ''.$newRes[$k]['ip'].':'.$newRes[$k]['port'].'@'.$newRes[$k]['type'].' 代理验证成功！ IP地址:'.$newRes[$k]['location'].'';
193. $proxy_str_failed = ''.$newRes[$k]['ip'].':'.$newRes[$k]['port'].'@'.$newRes[$k]['type'].' 代理验证失败！ IP地址:'.$newRes[$k]['location'].'';
194. if($result !== false ){
195. echo $proxy_str_success;
196. $_SESSION['success_arr'][] = $success_arr[] = $newRes[$k];
197. } else {
198. echo $proxy_str_failed;
199. }
200. echo '
     ';
201. }
202. if(isset($success_arr) && count($success_arr) > 0 ) {
203. save_success_proxy($success_arr);
204. echo '

     [保存验证成功的代理到本地电脑] [我要看看历史数据]

     ';
205. } else {
206. echo '

     [我要看看历史数据]

     ';
207. }
208. //print_r($success_arr);
209. }
211. function get_proxy_by_rule(){
212. global $params, $config;
213. $result = $proxy_ip = trim($params['ip']);
214. if($proxy_ip == '') {
215. echo '请输入IP!!';
216. return;
217. }
218. $replace_arr1 = array(' ', 'qq代理：', 'dn28.com', 'qqip', 'qq代理', 'qq代理ip', '代理ip：', 'ip：', '代理ip');
219. $result = str_replace($replace_arr1, array(''), $result);
220. $resArr = explode("\n", $result);
221. //print_r($resArr);
222. echo '

     代理开始批量验证中，整个过程将会花费您几分钟时间。

     ';
223. unset($_SESSION['success_arr']);
224. foreach($resArr as $k => $v) {
225. $newRes[$k] = parseProxyInfo($v);
226. //print_r($newRes[$k]);
227. /*return;*/
228. $result = check_proxy_is_useful('collect', $newRes[$k]);
229. //var_dump($result);
230. $proxy_str_success = ''.$newRes[$k]['ip'].':'.$newRes[$k]['port'].'@'.$newRes[$k]['type'].' 代理验证成功！ IP地址:'.$newRes[$k]['location'].'';
231. $proxy_str_failed = ''.$newRes[$k]['ip'].':'.$newRes[$k]['port'].'@'.$newRes[$k]['type'].' 代理验证失败！ IP地址:'.$newRes[$k]['location'].'';
232. if($result !== false ){
233. echo $proxy_str_success;
234. $_SESSION['success_arr'][] = $success_arr[] = $newRes[$k];
235. } else {
236. echo $proxy_str_failed;
237. }
238. echo '
     ';
239. }
240. if(isset($success_arr) && count($success_arr) > 0 ) {
241. save_success_proxy($success_arr);
242. echo '

     [保存到php格式文件] [保存验证成功的代理到本地电脑] [我要看看历史数据]

     ';
243. } else {
244. echo '

     [我要看看历史数据]

     ';
245. }
246. }
248. function save_success_proxy($success_arr){
249. global $config;
250. date_default_timezone_set('PRC');
251. $str = '';
252. foreach($success_arr as $k => $v) {
253. $str .= $v['ip'].':'.$v['port'].'@'.$v['type'].';'.$v['location']."\n";
254. }
255. $fp = fopen($config['root_path'].'/success_proxy/'.date('YmdHi').'.log', 'a+');
256. fwrite($fp, $str);
257. fclose($fp);
258. unset($str);
259. }
261. ?>

复制代码