mysql - php导出十多万条数据有没有办法更快?
有没有什么办法可以让大量数据导出可以更快呢?
...忘了说因为是一些数据客户需要用到的,所以要用excel格式
回复内容:
现在是用phpExcel导出大概需要十分钟多,而且内存报错...
有没有什么办法可以让大量数据导出可以更快呢?
...忘了说因为是一些数据客户需要用到的,所以要用excel格式
首先应该明确问题场景:
1.这个导出10w数据是用户的功能还是后台或者系统内的功能,如果是用户使用的功能,那么可能PHP很难处理,因为要考虑用户体验问题,那么这个功能可能需要使用第三方服务或者用其他扩展来做。但是如果不是用户使用,而是系统人员或者内部人使用。则办法有很多种。
分步骤分析问题
1.从mysql数据库导出10w条数据,2,将10万天数据导出。
首先看下,mysql数据库查询10w条的时间:
我刚刚测试了一下,我的11万数据大概导了205s。因为机器的问题所以每个人的都不一样。但是可以明确一点,这个时间不快。如果PHP的话,一般默认连接时间是30s,就会有第一个问题,超时的问题。这个很好解决
2.用PHP将10w条数据导出。10w条数据就会有第二个问题,内存不够的问题。处理10w条数据比较慢
建议:
1.如@悲惨的大爷的方案,将10条分次导出,由于是SELECT,所以不会占用MYSQL太多资源,可以多线程查询SQL。
但这只能解决查询的问题,查询倒是快了,这个可以优化第一个步骤的时间,但是用PHP导出10条数据的问题还是在,因为是需要把10w条数据导出成一个excel。针对这点可以使用csv.这会比phpexcel快不少,
2.如果数据量太多或者应用场景比较频繁可以做一个服务。
分多个文件导出.
比如现在要导出10w 条数据,那么可以分10次导出,一次1w 条.
可以用多进程来处理.
我猜你是查数据库一次取了十万条,然后导出的。这样非常占用内存。
你可以试试分页取十次,每次取一万条导出。最后把导出的文件合并。
用mysql自带的mysqldump不好么
如果一定要excel 可以odbc连接到数据库后导出到excel,具体操作搜索下
我导出500000一点问题都没的,记着释放内存
直接对数据库操作,mysql导出数据,写个别的桌面程序来转换?
CSV 没有一点压力
用csv格式啊,不要用phpexcel
用csv。千万不要用phpexcel。这种东西读取速度特别的慢。我是吃过亏的。