欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  数据库

mysql limit 大偏移的一个可能的优化方法

程序员文章站 2022-06-04 18:08:42
...

mysql limit 语句在大数据量时候,limit后的偏移量过大,第一次查询会特别慢,因为mysql默认是开启查询缓存的,所以,对于第二次再次执行大偏移查询不会有影响。 示例:100万的一个表,id做主键,auto_increment。 需要查询:SELECT * FROM table ORDER BY i

mysql limit 语句在大数据量时候,limit后的偏移量过大,第一次查询会特别慢,因为mysql默认是开启查询缓存的,所以,对于第二次再次执行大偏移查询不会有影响。

示例:100万的一个表,id做主键,auto_increment。

需要查询:SELECT * FROM table ORDER BY id DESC LIMIT 990000,100

比较慢。

常见的办法是:SELECT * FROM table WHERE id >=(SELECT id FROM table ORDER BY id DESC LIMIT 990000,1) ORDER BY id DESC LIMIT 100

id可能不连续,而且排序也可能不是只依赖于id, 这种办法基本上无法在实际项目中应用。

比如,我们的实际项目中,有排序非常复杂的方式:ORDER BY (column1 + column2) * column3 DESC,等等这些方式,一百万的数据,如果偏移量990000,那么反过来的排序应该更接近头部:

-------------------------------------------------------------------[99万-|100条]--100万

需要实现:SELECT * FROM table ORDER BY columns DESC LIMIT 990000, 100

推测出一种解决办法:反向排序,然后截取头部,再次反向,得到结果:

$head = max(100万-99万-100, 0 );

SELECT * FROM (SELECT * FROM table ORDER BY columns ASC LIMIT $head, 100 ) AS t ORDER BY columns DESC

优化完成,对于靠近末尾的,速度和开头的一样快,但如果取中间的偏移量,则没有差别。