欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

php如何异步生成excel文件并保存到服务器

程序员文章站 2022-04-27 21:33:48
...

先说说我目前的需求和困境吧:

  • 1.导出订单这个功能相信大家都不陌生,数据量大,业务复杂。现在产品需要导出一个月的数据,大概2w条左右,查询接口调用的是java提供的api。

  • 2.查询2000条数据该接口需要30+秒,而服务器的超时时间是30秒,因此超时在所难免。1w条数据每1000条一次,单个curl请求,耗时60-78秒,curl_multi请求,45.78-52秒。

  • 3.此时并没有做完业务逻辑,用户的信息需要在返回的结果中根据uid在此查询数据库,某些字段还需要做判断,因此,需要等待rest结果并处理逻辑。

  • 4.处理的数据结果,经过遍历之后组装到excel单元格,占用大量内存。

现在说说我自己的想法:

  • 1.客户端发起“导出”动作,服务发送查询操作,并生成excel文件保存到服务器端。

  • 2.在客户端发出动作之后,最好立即返回,不等待结果回馈客户,直接告诉客户,半个小时之后再去下载。

  • 3.下载直接从服务器上拉去生成的excel文件。

我的困惑:

如何做到客户发起请求并立即返回,还要服务器做业务逻辑,处理查询,字段组装等过程?请各位大神帮我指点一二,谢谢你们!

补充一点:
原本想使用cron job的,但是东西越来越多,服务器并不是很宽裕,上面部署这很多服务,这些事自己内部使用的,效率不要求很高。

因为app端显示的很多东西都是定时任务,比如商品加精等,太多了,所以,目前不想使用cron job。而且在java代码中使用spring的task执行很多任务。

回复内容:

先说说我目前的需求和困境吧:

  • 1.导出订单这个功能相信大家都不陌生,数据量大,业务复杂。现在产品需要导出一个月的数据,大概2w条左右,查询接口调用的是java提供的api。

  • 2.查询2000条数据该接口需要30+秒,而服务器的超时时间是30秒,因此超时在所难免。1w条数据每1000条一次,单个curl请求,耗时60-78秒,curl_multi请求,45.78-52秒。

  • 3.此时并没有做完业务逻辑,用户的信息需要在返回的结果中根据uid在此查询数据库,某些字段还需要做判断,因此,需要等待rest结果并处理逻辑。

  • 4.处理的数据结果,经过遍历之后组装到excel单元格,占用大量内存。

现在说说我自己的想法:

  • 1.客户端发起“导出”动作,服务发送查询操作,并生成excel文件保存到服务器端。

  • 2.在客户端发出动作之后,最好立即返回,不等待结果回馈客户,直接告诉客户,半个小时之后再去下载。

  • 3.下载直接从服务器上拉去生成的excel文件。

我的困惑:

如何做到客户发起请求并立即返回,还要服务器做业务逻辑,处理查询,字段组装等过程?请各位大神帮我指点一二,谢谢你们!

补充一点:
原本想使用cron job的,但是东西越来越多,服务器并不是很宽裕,上面部署这很多服务,这些事自己内部使用的,效率不要求很高。

因为app端显示的很多东西都是定时任务,比如商品加精等,太多了,所以,目前不想使用cron job。而且在java代码中使用spring的task执行很多任务。

2种,一种就是使用脚本去跑。还有一种就是接收到前端请求之后直接返回或是让它超时,php可以继续执行的显示设置脚本set_time_limit(0);,php-fpm的话可以fastcgi_finish_request(),返回之后继续执行,apache可以设置ignore_user_abort();

不过后面一种方式php-fpm的话会阻塞php接收请求,有可能导致正常用户无法访问网站,因为那个是随机分配的,如果nginx连接到那个长时间的进程的就阻塞了。
建议还是用php脚本的方式来执行,可以使用队列,也可以使用shell去调用php脚本来执行

可以通过队列导出
可以满足你的需求,下图为我的导出php如何异步生成excel文件并保存到服务器

或者你也可以选择简单点的,用Linux计划任务执行

前台提交导出请求,你将导出的请求添加到数据库任务表里,并返回给客户端正在执行导出等信息,然后linux计划任务对任务表查询到新任务并进行导出,导出完成后修改当前任务为已完成,这应该不是特别复杂了

同学,你听说过cron job 么?

你可以借助分布式任务队列
比如说gearman, rabbitmq 异步的处理

为啥不用天生异步的nodejs实现呢

相关标签: php excel