SQLite中的WAL机制详细介绍

一、什么是wal？

wal的全称是write ahead logging，它是很多数据库中用于实现原子事务的一种机制，sqlite在3.7.0版本引入了该特性。

二、wal如何工作？

在引入wal机制之前，sqlite使用rollback journal机制实现原子事务。

rollback journal机制的原理是：在修改数据库文件中的数据之前，先将修改所在分页中的数据备份在另外一个地方，然后才将修改写入到数据库文件中；如果事务失败，则将备份数据拷贝回来，撤销修改；如果事务成功，则删除备份数据，提交修改。

wal机制的原理是：修改并不直接写入到数据库文件中，而是写入到另外一个称为wal的文件中；如果事务失败，wal中的记录会被忽略，撤销修改；如果事务成功，它将在随后的某个时间被写回到数据库文件中，提交修改。

同步wal文件和数据库文件的行为被称为checkpoint（检查点），它由sqlite自动执行，默认是在wal文件积累到1000页修改的时候；当然，在适当的时候，也可以手动执行checkpoint，sqlite提供了相关的接口。执行checkpoint之后，wal文件会被清空。

在读的时候，sqlite将在wal文件中搜索，找到最后一个写入点，记住它，并忽略在此之后的写入点（这保证了读写和读读可以并行执行）；随后，它确定所要读的数据所在页是否在wal文件中，如果在，则读wal文件中的数据，如果不在，则直接读数据库文件中的数据。

在写的时候，sqlite将之写入到wal文件中即可，但是必须保证独占写入，因此写写之间不能并行执行。

wal在实现的过程中，使用了共享内存技术，因此，所有的读写进程必须在同一个机器上，否则，无法保证数据一致性。

三、wal的优点与缺点

优点：

1.读和写可以完全地并发执行，不会互相阻塞（但是写之间仍然不能并发）。
2.wal在大多数情况下，拥有更好的性能（因为无需每次写入时都要写两个文件）。
3.磁盘i/o行为更容易被预测。

缺点：

1.访问数据库的所有程序必须在同一主机上，且支持共享内存技术。
2.每个数据库现在对应3个文件：<yourdb>.db，<yourdb>-wal，<yourdb>-shm。
3.当写入数据达到gb级的时候，数据库性能将下降。
4.3.7.0之前的sqlite无法识别启用了wal机制的数据库文件。

四、wal引入的兼容性问题

在启用了wal之后，数据库文件格式的版本号由1升级到了2，因此，3.7.0之前的sqlite无法识别启用了wal机制的数据库文件。

禁用wal会使数据库文件格式的版本号恢复到1，从而可以被sqlite 3.7.0之前的版本识别。

五、wal引入的性能问题

在一般情况下，wal会提高sqlite的事务性能；但是在某些极端情况下，却会导致sqlite事务性能的下降。

1.在事务执行时间较长或者要修改的数据量达到gb级的时候，wal文件会被占用，它会暂时阻止checkpoint的执行（checkpoint会清空wal文件），这将导致wal文件变得很大，增加寻址时间，最终导致读写性能的下降。
2.当checkpoint执行的时候，会降低当时的读写性能，因此，wal可能会导致周期性的性能下降。

六、与wal相关的pragma和接口

pragma journal_mode
pragma wal_checkpoint
pragma wal_autocheckpoint
sqlite3_wal_checkpoint
sqlite3_wal_autocheckpoint
sqlite3_wal_hook