欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

mysql - php导出十多万条数据有没有办法更快?

程序员文章站 2022-05-01 18:59:12
...
现在是用phpExcel导出大概需要十分钟多,而且内存报错...
有没有什么办法可以让大量数据导出可以更快呢?
...忘了说因为是一些数据客户需要用到的,所以要用excel格式

回复内容:

现在是用phpExcel导出大概需要十分钟多,而且内存报错...
有没有什么办法可以让大量数据导出可以更快呢?
...忘了说因为是一些数据客户需要用到的,所以要用excel格式

首先应该明确问题场景:
1.这个导出10w数据是用户的功能还是后台或者系统内的功能,如果是用户使用的功能,那么可能PHP很难处理,因为要考虑用户体验问题,那么这个功能可能需要使用第三方服务或者用其他扩展来做。但是如果不是用户使用,而是系统人员或者内部人使用。则办法有很多种。
分步骤分析问题
1.从mysql数据库导出10w条数据,2,将10万天数据导出。
首先看下,mysql数据库查询10w条的时间:
我刚刚测试了一下,我的11万数据大概导了205s。因为机器的问题所以每个人的都不一样。但是可以明确一点,这个时间不快。如果PHP的话,一般默认连接时间是30s,就会有第一个问题,超时的问题。这个很好解决
2.用PHP将10w条数据导出。10w条数据就会有第二个问题,内存不够的问题。处理10w条数据比较慢
建议:
1.如@悲惨的大爷的方案,将10条分次导出,由于是SELECT,所以不会占用MYSQL太多资源,可以多线程查询SQL。
但这只能解决查询的问题,查询倒是快了,这个可以优化第一个步骤的时间,但是用PHP导出10条数据的问题还是在,因为是需要把10w条数据导出成一个excel。针对这点可以使用csv.这会比phpexcel快不少,
2.如果数据量太多或者应用场景比较频繁可以做一个服务。

分多个文件导出.
比如现在要导出10w 条数据,那么可以分10次导出,一次1w 条.
可以用多进程来处理.

我猜你是查数据库一次取了十万条,然后导出的。这样非常占用内存。
你可以试试分页取十次,每次取一万条导出。最后把导出的文件合并。

用mysql自带的mysqldump不好么

如果一定要excel 可以odbc连接到数据库后导出到excel,具体操作搜索下

我导出500000一点问题都没的,记着释放内存

直接对数据库操作,mysql导出数据,写个别的桌面程序来转换?

CSV 没有一点压力

用csv格式啊,不要用phpexcel

用csv。千万不要用phpexcel。这种东西读取速度特别的慢。我是吃过亏的。

相关标签: php mysql