mysql limit 大偏移的一个可能的优化方法
mysql limit 语句在大数据量时候,limit后的偏移量过大,第一次查询会特别慢,因为mysql默认是开启查询缓存的,所以,对于第二次再次执行大偏移查询不会有影响。 示例:100万的一个表,id做主键,auto_increment。 需要查询:SELECT * FROM table ORDER BY i
mysql limit 语句在大数据量时候,limit后的偏移量过大,第一次查询会特别慢,因为mysql默认是开启查询缓存的,所以,对于第二次再次执行大偏移查询不会有影响。
示例:100万的一个表,id做主键,auto_increment。
需要查询:SELECT * FROM table ORDER BY id DESC LIMIT 990000,100
比较慢。
常见的办法是:SELECT * FROM table WHERE id >=(SELECT id FROM table ORDER BY id DESC LIMIT 990000,1) ORDER BY id DESC LIMIT 100
id可能不连续,而且排序也可能不是只依赖于id, 这种办法基本上无法在实际项目中应用。
比如,我们的实际项目中,有排序非常复杂的方式:ORDER BY (column1 + column2) * column3 DESC,等等这些方式,一百万的数据,如果偏移量990000,那么反过来的排序应该更接近头部:
-------------------------------------------------------------------[99万-|100条]--100万
需要实现:SELECT * FROM table ORDER BY columns DESC LIMIT 990000, 100
推测出一种解决办法:反向排序,然后截取头部,再次反向,得到结果:
$head = max(100万-99万-100, 0 );
SELECT * FROM (SELECT * FROM table ORDER BY columns ASC LIMIT $head, 100 ) AS t ORDER BY columns DESC
优化完成,对于靠近末尾的,速度和开头的一样快,但如果取中间的偏移量,则没有差别。
上一篇: xampp启用xdebug学习笔记详解
下一篇: Python3处理文件中每个词的方法