欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

关于多数据方法程序优化思路

程序员文章站 2024-02-21 15:18:46
...

例如有10W条多字段数据,一次性向数据库取回对数据库造成较大压力,如果一次取100条,取1000次,这样的效果会比一次取好很多

具体实现操作步骤:
1.先查出符合代扣条件的所有订单总数
$total   = select count(*) from  xx where  $where;
$perPage  = 100; //每次取出数目
$pageSize = ceil($total/$perPage); //进位取整,取出次数
2.循环取数据
for($i=0;$i<ceil(总数;$i++){
      $data = select * from xx where $where limit $i*$perPage,$perPage ;
      while(list($index,$item)=each($data)){
             //执行具体业务逻辑代码
     }
             //记录文件log/数据库log/缓存log
}
// 程序执行完毕,发送邮件通知,短信通知,微信通知

温馨提示:
对于批量发起http请求,如请求频率太快,瞬间发起太多请求容易出现网络阻塞问题,对请求客户端和被请求服务端要求较高,每次发起请求需要让程序适当usleep,如过结果获取有延时可用redis作异步操作,告知客户端后台正在处理,需等待多少分钟后有结果通知(如支付场景大多数情况是无法马上拿到结果的,需要等待支付机构的异步通知)

相关标签: 优化 php