Oracle分页查询出现重复数据、遗漏数据问题复现、解决

一、背景

1. Oracle 数据库版本信息：

序号	BANNER
1	Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production
2	PL/SQL Release 11.2.0.4.0 - Production
3	CORE 11.2.0.4.0 Production
4	TNS for 64-bit Windows: Version 11.2.0.4.0 - Production
5	NLSRTL Version 11.2.0.4.0 - Production

2. 现象
   采用 Oracle 数据库进行分页查询时 第x页 数据和 第x+n页 数据存在重复数据，并且存在缺失/丢失数据的现象。

二、数据准备

在复现上述问题时我们需要先准备测试数据（表 AAA 有 A、B 两列共 33 条数据），脚本如下：

-- 创建测试表并导入数据
CREATE TABLE AAA
(
  A NUMBER(10),
  B NUMBER(10)
);
INSERT INTO AAA (A, B) VALUES (1, 123);
INSERT INTO AAA (A, B) VALUES (2, 123);
INSERT INTO AAA (A, B) VALUES (3, 123);
INSERT INTO AAA (A, B) VALUES (4, 123);
INSERT INTO AAA (A, B) VALUES (5, 123);
INSERT INTO AAA (A, B) VALUES (6, 123);
INSERT INTO AAA (A, B) VALUES (7, 123);
INSERT INTO AAA (A, B) VALUES (8, 123);
INSERT INTO AAA (A, B) VALUES (9, 123);
INSERT INTO AAA (A, B) VALUES (10, 123);
INSERT INTO AAA (A, B) VALUES (11, 123);
INSERT INTO AAA (A, B) VALUES (12, 123);
INSERT INTO AAA (A, B) VALUES (13, 123);
INSERT INTO AAA (A, B) VALUES (14, 123);
INSERT INTO AAA (A, B) VALUES (15, 123);
INSERT INTO AAA (A, B) VALUES (16, 123);
INSERT INTO AAA (A, B) VALUES (17, 123);
INSERT INTO AAA (A, B) VALUES (18, 1223);
INSERT INTO AAA (A, B) VALUES (19, 123);
INSERT INTO AAA (A, B) VALUES (20, 123);
INSERT INTO AAA (A, B) VALUES (21, 123);
INSERT INTO AAA (A, B) VALUES (22, 123);
INSERT INTO AAA (A, B) VALUES (23, 123);
INSERT INTO AAA (A, B) VALUES (24, 123);
INSERT INTO AAA (A, B) VALUES (25, 123);
INSERT INTO AAA (A, B) VALUES (26, 123);
INSERT INTO AAA (A, B) VALUES (27, 123);
INSERT INTO AAA (A, B) VALUES (28, 123);
INSERT INTO AAA (A, B) VALUES (29, 123);
INSERT INTO AAA (A, B) VALUES (30, 123);
INSERT INTO AAA (A, B) VALUES (31, 123);
INSERT INTO AAA (A, B) VALUES (32, 123);
INSERT INTO AAA (A, B) VALUES (33, 123);
COMMIT;

三、复现问题

使用分页查询脚本对每页进行查询：

--第一页
SELECT *
  FROM (SELECT T.*, ROWNUM RN
          FROM (SELECT A.* FROM AAA A ORDER BY A.B ASC) T
         WHERE ROWNUM <= 10)
 WHERE RN > 0;

--第二页
SELECT *
  FROM (SELECT T.*, ROWNUM RN
          FROM (SELECT A.* FROM AAA A ORDER BY A.B ASC) T
         WHERE ROWNUM <= 20)
 WHERE RN > 10;

--第三页
SELECT *
  FROM (SELECT T.*, ROWNUM RN
          FROM (SELECT A.* FROM AAA A ORDER BY A.B ASC) T
         WHERE ROWNUM <= 30)
 WHERE RN > 20;

--第四页 
SELECT *
  FROM (SELECT T.*, ROWNUM RN
          FROM (SELECT A.* FROM AAA A ORDER BY A.B ASC) T
         WHERE ROWNUM <= 40)
 WHERE RN > 30;

查询结果如下：
第一页数据：

第二页数据：

第三页数据：

第四页数据：

仔细观察每页的数据，从中可以看到A=17在第二页、第三页、第四页数据存在重复，A=8在第一页、第二页、第三页数据存在重复；另外我们还发现数据总量是 33 条数据，因为存在重复数据，在总量不变得情况下说明有数据丢失。
此外我们发现分页查询时我们的排序字段是 B ，并且 B 列中存在大量重复值（不全重复）全重复不会存在我们在这说的问题，在这就不说明了，感兴趣的话可以自己试试，将上面的数据 B=1223 改成和其他一样的就行。

四、产生原因

通过上一步的问题复现，我们发现在分页时排序字段是 B列，并且 B 列存在不同值（有大量重复值），通过伪列进行排序分页后变得不稳定导致，如果 B 列值都一样，那顺序从数据块中读取，不会产生上述问题。

五、解决方案

解决方案其他很简单，只需要将排序字段改成其他非大量重复列即可。