Redis持久化RDB与AOF

redis持久化概念

author:simplewu

什么是持久化？

概念：把内存的数据保存在磁盘的过程。

redis的持久化？

redis是内存数据库，它把数据存储在内存中，这样在加快读取速度的同时也对数据安全性产生了新的问题，即当redis所在服务器发生宕机后，redis数据库里的所有数据将会全部丢失。

redis实现持久化的两种方式：

1. rdb(redis database )：就是在不同的时间点，将redis存储的数据生成快照并存储到磁盘等介质上.
2. aof(append only file )：那就是将redis执行过的所有写指令记录下来，在下次redis重新启动时，只要把这些写指令从前到后再重复执行一遍，就可以实现数据恢复了。

全量写入-rdb

是将redis某一时刻的数据持久化到磁盘中，是一种快照式的持久化方法。

这种方式是就是将内存中所有的数据以快照的方式写入到二进制文件中，默认的文件名为dump.rdb。

修改默认文件名，找到将dump.rdb修改即可：

dbfilename dump.rdb

可以通过配置设置自动做快照持久化的方式。

默认：

save 900 1
save 300 10
save 60 10000

三个配置解析：

• 900秒内如果超过1个key被修改，则发起快照保存。
• 300秒内如果超过10个key被修改，则发起快照保存。
• 60秒内如果超过10000个key被修改，则发起快速保存。

注意：修改配置后，需要重启redis服务。

rdb参数

查看配置：

config get save

修改配置：

config set save "120 10"

rdb快照及恢复

三种触发快照方式：

1. 自动保存快照，配置文件中的快照参数设置。
2. 输入命令保存save或者bgsave。
3. 执行shutdown或者flsuhall命令时。

save和bgsave的区别：

当执行save时，不能进行其他操作，全部阻断。 bgsave为后台异步操作，执行时，服务器任然可以进行其它操作。如果想禁用rdb持久化策略，只要不设置任何save命令，或者给save传入一个空字符串也可以。

rdb-优点

1. redis在进行数据持久化的过程中，会先将数据写入到一个临时文件中，待持久化过程都结束了，才会用这个临时文件替换上次持久化好的文件。正是这种特性，让我们可以随时来进行备份，因为快照文件总是完整可用的。
2. rdb 可以最大化 redis 的性能：父进程在保存 rdb 文件时唯一要做的就是 fork 出一个子进程，然后这个子进程就会处理接下来的所有保存工作，父进程无须执行任何磁盘 i/o 操作。
3. 如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那rdb方式要比aof方式更加的高效。

rdb-缺点

1. 虽然rdb有不少优点，但它的缺点也是不容忽视的。如果你对数据的完整性非常敏感，那么rdb方式就不太适合你，因为即使你每5分钟都持久化一次，当redis故障时，仍然会有近5分钟的数据丢失。
2. 每次保存 rdb 的时候，redis 都要 fork() 出一个子进程，并由子进程来进行实际的持久化工作。 在数据集比较庞大时， fork() 可能会非常耗时，造成服务器在某某毫秒内停止处理客户端； 如果数据集非常巨大，并且 cpu 时间非常紧张的话，那么这种停止时间甚至可能会长达整整一秒。 虽然 aof 重写也需要进行 fork() ，但无论 aof 重写的执行间隔有多长，数据的耐久性都不会有任何损失。

增量写入aof

aof方式是将执行过的写指令记录下来，在数据恢复时按照从前到后的顺序再将指令都执行一遍，就这么简单。

redis会将每一个收到的写命令（如set、sadd、rpush）追加到 (默认是appendonly.aof)文件中。当redis重启时会通过重新执行文件中保存的写命令来在内存中重建整个数据库的内容。

默认的aof持久化策略是每秒钟fsync一次（fsync是指把缓存中的写指令记录到磁盘中），因为在这种情况下，redis仍然可以保持很好的处理性能，即使redis故障，也只会丢失最近1秒钟的数据。

aof配置

修改aof文件存放路径：

默认：dir ./

开启aof持久化，默认关闭：

appendonly no #将no改为yes为开启

修改aof文件名称：

appendfilename "appendonly.aof"

aof持久化策略：

appendfsync everysec #everysec是默认策略

持久化策略：

1. always：选择always的时候服务器会在每执行一个事件就把aof缓冲区的内容强制性的写入硬盘上的aof文件里，可以看成你每执行一个redis写入命令就往aof文件里记录这条命令，这保证了数据持久化的完整性，但效率是最慢的，却也是最安全的
2. everysec：配置成everysec的话服务端每执行一次写操作（如set、sadd、rpush）也会把该条命令追加到一个单独的aof缓冲区的末尾，并将aof缓冲区写入aof文件，然后每隔一秒才会进行一次文件同步把内存缓冲区里的aof缓存数据真正写入aof文件里，这个模式兼顾了效率的同时也保证了数据的完整性，即使在服务器宕机也只会丢失一秒内对redis数据库做的修改；
3. no：将appendfsync配置成no则意味redis数据库里的数据就算丢失你也可以接受，它也会把每条写命令追加到aof缓冲区的末尾，然后写入文件，但什么时候进行文件同步真正把数据写入aof文件里则由系统自身决定，即当内存缓冲区的空间被填满或者是超过了设定的时限后系统自动同步。这种模式下效率是最快的，但对数据来说也是最不安全的，如果redis里的数据都是从后台数据库如mysql中取出来的，属于随时可以找回或者不重要的数据，那么可以考虑设置成这种模式。

aop文件的修复

如果在追加日志时，恰好遇到磁盘空间满、inode满或断电等情况导致日志写入不完整，也没有关系，redis提供了redis-check-aof工具，可以用来进行日志修复。

可以通过以下命令进行修复：

redis-check-aof   --fix appendonly.aof  #该命令会修复aof文件。

aof重写(rewrite)

由于aof采用追加方式，文件会变得越来越大，针对这种情况采用了重写机制，从而保留可以恢复数据的最小指令集。可以使用命令 bgrewriteaof。

aof重写的内部运行原理：

1. 在重写即将开始之际，redis会创建（fork）一个“重写子进程”，这个子进程会首先读取现有的aof文件，并将其包含的指令进行分析压缩并到一个临时文件中。
2. 与此同时，主工作进程会将新接收到的写指令一边累积到内存缓冲区中，一边继续写入到原有的aof文件中，这样做是保证原有的aof文件的可用性，避免在重写过程中出现意外。
3. 当“重写子进程”完成重写工作后，它会给父进程发一个信号，父进程收到信号后就会将内存中缓存的写指令追加到新aof文件中。
4. 当追加结束后，redis就会用新aof文件来代替旧aof文件，之后再有新的写指令，就都会追加到新的aof文件中了。

触发条件：redis会记录上一次重写时的aof大小，默认配置是当aof文件大小是上次rewrite后大小的一倍且文件大于64m时触发。

rdb和aof的共存

rdb和aof两种方式也可以同时使用，在这种情况下，如果redis重启的话，则会优先采用aof方式来进行数据恢复，这是因为aof方式的数据恢复完整度更高。

aof-优点

1. 使用 aof 持久化会让 redis 变得非常耐久（much more durable）：你可以设置不同的 fsync 策略，比如无 fsync ，每秒钟一次 fsync ，或者每次执行写入命令时 fsync 。 aof 的默认策略为每秒钟 fsync 一次，在这种配置下，redis 仍然可以保持良好的性能，并且就算发生故障停机，也最多只会丢失一秒钟的数据（ fsync 会在后台线程执行，所以主线程可以继续努力地处理命令请求）。
2. aof 文件是一个只进行追加操作的日志文件（append only log）， 因此对 aof 文件的写入不需要进行 seek ， 即使日志因为某些原因而包含了未写入完整的命令（比如写入时磁盘已满，写入中途停机，等等）， redis-check-aof 工具也可以轻易地修复这种问题。
3. redis 可以在 aof 文件体积变得过大时，自动地在后台对 aof 进行重写： 重写后的新 aof 文件包含了恢复当前数据集所需的最小命令集合。 整个重写操作是绝对安全的，因为 redis 在创建新 aof 文件的过程中，会继续将命令追加到现有的 aof 文件里面，即使重写过程中发生停机，现有的 aof 文件也不会丢失。 而一旦新 aof 文件创建完毕，redis 就会从旧 aof 文件切换到新 aof 文件，并开始对新 aof 文件进行追加操作。
4. aof 文件有序地保存了对数据库执行的所有写入操作， 这些写入操作以 redis 协议的格式保存， 因此 aof 文件的内容非常容易被人读懂， 对文件进行分析（parse）也很轻松。 导出（export） aof 文件也非常简单： 举个例子， 如果你不小心执行了 flushall 命令， 但只要 aof 文件未被重写， 那么只要停止服务器， 移除 aof 文件末尾的 flushall 命令， 并重启 redis ， 就可以将数据集恢复到 flushall 执行之前的状态。

aof-缺点

1. 对于相同的数据集来说，aof 文件的体积通常要大于 rdb 文件的体积。而且，aof方式的恢复速度也要慢于rdb方式。
2. 如果你直接执行bgrewriteaof命令，那么redis会生成一个全新的aof文件，其中便包括了可以恢复现有数据的最少的命令集。
3. 根据所使用的 fsync 策略，aof 的速度可能会慢于 rdb 。 在一般情况下， 每秒 fsync 的性能依然非常高， 而关闭 fsync 可以让 aof 的速度和 rdb 一样快， 即使在高负荷之下也是如此。 不过在处理巨大的写入载入时，rdb 可以提供更有保证的最大延迟时间（latency）。

rdb和aof的区别

rdb方式能够在指定的时间间隔能对你的数据进行快照存储。

aof方式记录每次对服务器写的操作，当服务器重启的时候会重新执行这些命令来恢复，aof命令以redis协议追加保存每次写的操作到文件末尾。redis还能对aof文件进行后台重写，使得aof文件的体积不至于过大。

如何选择rdb和aof

因为rdb文件只用作后备用途，建议只在slave上持久化rdb文件，而且只要15分钟备份一次就够了，只保留save 900 1这条规则。

如果enalbe aof，好处是在最恶劣情况下也只会丢失不超过两秒数据，启动脚本较简单只load自己的aof文件就可以了。代价一是带来了持续的io，二是aof rewrite的最后将rewrite过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。只要硬盘许可，应该尽量减少aof rewrite的频率，aof重写的基础大小默认值64m太小了，可以设到5g以上。默认超过原大小100%大小时重写可以改到适当的数值。

如果不enable aof ，仅靠master-slave replication 实现高可用性也可以。能省掉一大笔io也减少了rewrite时带来的系统波动。代价是如果master/slave同时倒掉，会丢失十几分钟的数据，启动脚本也要比较两个master/slave中的rdb文件，载入较新的那个。新浪微博就选用了这种架构

只做缓存：如果你只希望你的数据在服务器运行时候存在，你也可以不使用任何持久化方式。

对于我们应该选择rdb还是aof，官方的建议是两个同时使用。这样可以提供更可靠的持久化方案。