关于数据导出超时的问题

实际工作中，我们经常导出报表的需求，当导出数据量过大的时候，经常会遇到超时和内存溢出的问题。
解决方案一

超时可用: set_time_limit(0) 解决。
内存溢出可用: ini_set('memory_limit', '自定义内存')。

解决方案二

优化程序，利用数据库或文件来缓存中间结果。

解决方案三

利用Ajax分多次请求，写入文件，下载文件，效果如上图（效果图为gif，无法上传，请用下面链接查看）。

（方案三）为大家提供一个Demo

设计思路

1. 我们将其拆成100次请求，请求成功，进度条前进1%。
2. 每次请求都需要写入文件，然后对文件进行追加写入。
3. 当文件写入完毕后，显示下载按钮 ，点击下载即可。

功能点

1. 两种进度条样式。
2. Jquery Ajax。
3. 数据写入CSV。
4. 下载文件。

页面样式：Bootstrap。

代码如下： /**
* 导出CSV文件
* @param array $data 数据
* @param array $header_data 首行数据
* @param string $file_name 文件名称
* @param int $type 类别
* @return string
*/
function _export_csv($data = [], $header_data = [], $file_name = '', $type = 0)
{
$fp = fopen($file_name, 'a+');
if (($type != 1) && !empty($header_data)) {
foreach ($header_data as $key => $value) {
$header_data[$key] = iconv('utf-8', 'gbk', $value);
}
fputcsv($fp, $header_data);
}
$num = 0;
//每隔$limit行，刷新一下输出buffer，不要太大，也不要太小
$limit = 100000;
//逐行取出数据，不浪费内存
$count = count($data);
if ($count > 0) {
for ($i = 0; $i $num++;
//刷新一下输出buffer，防止由于数据过多造成问题
if ($limit == $num) {
ob_flush();
flush();
$num = 0;
}
$row = $data[$i];
foreach ($row as $key => $value) {
$row[$key] = iconv('utf-8', 'gbk', $value);
}
fputcsv($fp, $row);
}
}
fclose($fp);
}

/**
* 下载文件
* @param string $file_url 文件地址
* @return string
*/
function _download_file ($file_url = '')
{
if (!isset($file_url) || trim($file_url)=='') {
die('File URL is empty.');
}
if (!file_exists($file_url)) {
die('File does not exist.');
}
$file_name = 'down_'.date('YmdHis', time());
$file_type = fopen($file_url,'r'); //打开文件
//输入文件标签
header("Content-type: application/octet-stream");
header("Accept-Ranges: bytes");
header("Accept-Length: ".filesize($file_url));
header("Content-Disposition: attachment; filename=".$file_name);
//输出文件内容
echo fread($file_type, filesize($file_url));
fclose($file_type);
}

//以后是逻辑代码，大家可以根据自己的需求进行编写。
$path = '文件的绝对地址'; //path 是存放文件的绝对地址。
if (isset($_POST['start'])) {
//每一个单独的请求，要保证文件名是唯一的，因为后面要继续进行追加。
$file_name = 'demo.csv';
//获取数据，根据自己的业务逻辑，去数据库获取数据。
$data = [];
$header_data = ['执行时间', '随机数']; //首行数据，表头
//模拟数据如下：
for ($i=0; $i $data[$i]['time'] = date('Y-m-d H:i:s', time());
$data[$i]['num'] = mt_rand(1000,9999);
}
$type = ($_POST['start'] != '0') ? 1 : 0 ;
//开始将数据写入到文件中
_export_csv($data, $header_data, $path.$file_name, $type);
//假设第100次 写入完毕，那么就可以进行下载文件啦。
//可以先获取需要导出的总量，然后根据实际情况进行拆分数据，每次获取成功，进度条会显示进度。
if ($_POST['start'] == 100) {
die(json_encode(['code' => 'ok', 'file_path' => '/index.php?op=down&f='.$file_name]));
} else {
die(json_encode(['code' => 'no']));
}
}

//简单的导出逻辑，可根据实际情况，进行开发。
if (($_GET['op'] == 'down') && !empty($_GET['f'])) {
_download_file($path.$_GET['f']);
exit;
}
?>

导出CSV文件
下载文件

60%

温馨提示：
Demo 仅供参考，具体开发，请根据需求，严谨处理。

Thanks ~

来源：http://mp.weixin.qq.com/s?__biz=MjM5NDM4MDIwNw==&mid=2448834649&idx=1&sn=3be1ef996a9fcf3f4082decd6434a048#rd

更多【干货分享】，请关注我的个人订阅号。