php curl批处理-可控并发异步
程序员文章站
2024-01-22 20:44:16
...
php curl批处理--可控并发异步
在php的手册里面有一段代码:
这段do...while是用来控制并发的,效果是将$mrc所有的请求完毕,再执行response结果
但如果我有1000个请求,那么curl批处理将并发1000个请求,显然是不合理,所以应该要控制一个并发数,并且将剩余的连接添加到请求队列里:
参考:http://www.onlineaspect.com/2009/01/26/how-to-use-curl_multi-without-blocking/
在php的手册里面有一段代码:
$mrc = curl_multi_init(); //发出请求 ....... $active = null; do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); while ($active && $mrc == CURLM_OK) { if (curl_multi_select($mh) != -1) { do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); } } //下面是处理请求返回的结果
这段do...while是用来控制并发的,效果是将$mrc所有的请求完毕,再执行response结果
但如果我有1000个请求,那么curl批处理将并发1000个请求,显然是不合理,所以应该要控制一个并发数,并且将剩余的连接添加到请求队列里:
参考:http://www.onlineaspect.com/2009/01/26/how-to-use-curl_multi-without-blocking/
$mh = curl_multi_init(); $ch = array(); $chunck = 10; //并发控制数 $all = count($urls);//所有的请求url数组 $chunck = $all > $chunck ? $chunck : $all; $options = array( CURLOPT_HEADER=>FALSE, CURLOPT_RETURNTRANSFER=>TRUE, CURLOPT_FOLLOWLOCATION=>TRUE, CURLOPT_MAXREDIRS=>5, CURLOPT_USERAGENT=>'Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20100101 Firefox/6.0' ); for($i = 0 ; $i
使用下来效果很好,没有副作用,并发数可控,应用之处多多,自己发挥想象吧相关文章
相关视频
推荐阅读
-
使用php方法curl抓取AJAX异步内容思路分析及代码分享_php实例
-
php cURL和Rolling cURL并发方式比较
-
php curl批处理-可控并发异步
-
PHP curl关于异步提交的有关问题
-
高并发 - php redis做mysql的缓存,怎么异步redis同步到mysql数据库?
-
使用php方法curl抓取AJAX异步内容思路分析及代码分享,curlajax
-
PHP异步:在PHP中使用 fsockopen curl 实现类似异步处理的功能
-
php curl批处理实现可控并发异步的操作
-
PHP curl 并发最佳实践代码分享_PHP教程
-
PHP cURL并发里的callback那行是什么效能