Redis 高可用之"持久化"
redis高可用概述
在redis中,实现高可用的技术主要包括:持久化、复制(读写分离)、哨兵、集群。
-
持久化:
持久化是最简单的高可用方法(有时甚至不被归为高可用手段),主要作用是数据备份,即将数据存储在硬盘,保证数据不会因进程退出而丢失。
-
复制:
复制是高可用redis的基础,哨兵和集群都是在复制的基础上实现高可用的。复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。
缺陷:故障恢复无法自动化,写操作无法负载均衡,存储能力受到单机的限制。
-
哨兵:
在复制的基础上,哨兵实现了自动化的故障恢复。
缺陷:写操作无法负载均衡;存储能力收到单机限制。
-
集群:
通过集群,redis解决了操作无法负载均衡,以及存储能力收到单机限制的问题,实现了较为完善的高可用解决方案。
redis持久化概述
持久化的功能:redis 是内存数据库,数据都是存储在内存中。
redis 的持久化分为 rdb 和 aof 持久化:
- 前者是将数据保存到硬盘。
- 后者是将每次执行的写命令保存到硬盘。
rdb 持久化
rdb持久化是将当前进程中的数据生成快照保存到硬盘中(因此也叫做快照持久化),保存的文件后缀是rdb;
当redis重新启动时,可以读取快照文件恢复数据。
触发条件:
- 手动触发
- 自动触发
手动触发:save命令和bgsave命令都可以生成 rdb 文件。
save命令会阻塞 redis 服务进程,直到 rdb 文件创建完毕为止,在 redis 服务器 阻塞期间,服务器不能执行任 何命令请求。
bgsave命令会创建一个子进程,由子进程来创建 rdb 文件,父进程(即 redis 主进程) 继续处理请求。bgsave 命令执行过程中,只有fork(ork了进程,子进程中的redis连接没法用了,要重连) 子进程会阻塞服务器,而对于 save 命令,整个过程都会阻塞服务器。
在自动触发 rdb 持久化时,redis 也会使用 bgsave 而不是 save 来进行持久化;下面介绍自动触发 rdb 持久化条件。
自动触发:最常见的情况是在配置文件中通过 save m n ,指定 m 秒内发生了 n 次变化时,会触发 bgsave。
在redis 配置文件redis.conf中,可以看到如下配置信息:
save 900 1 #当时间到 900 秒时,如果 redis 数据发生了至少 1 次变化,则执行 bgsave。 save 300 10 save 60 10000
除了 save m n 以外,还有一些其他情况会触发 bgsave:
- 在主从复制场景下,如果从节点执行全量复制操作,则主节点会执行 bgsave 命令,并将 rdb 文件发送给从节点。
- 执行 shutdown 命令时,也会自动执行 rdb 持久化。
启动时加载
rdb 的载入工作实在服务器启动时自动执行的,并没有专门的命令。但是由于 aof 的优先级更高,因此当 aof 开启时,会优先载入 aof 文件来恢复数据。
文件校验:
redis 载入 rdb 文件时,会对 rdb 文件进行校验,如果文件损坏,则日志中会打印错误,redis 启动失败。
aof 持久化
rdb 持久化是将进程数据写入硬盘,而 aof 持久化(即 append only file 持久化),则是将 redis 执行的每次写 命令记录到单独的日志文件中,当 redis 重启的时候再次执行 aof 来恢复数据。
与 rdb 相比 ,aof 实时性更好,因此已成为当前主流的持久化方案。
开启 aof:redis 服务器默认开启 rdb,关闭 aof;要开启 aof,需要在配置文件中配置:appendonly yes。
文件校验:
与载入 rdb 文件类似,redis 载入 aof 文件时,会对 aof 文件进行校验,如果文件损坏,则日志中会打印错 误,redis 启动失败。
rdb与aof的优缺点
rdb 持久化:
优点:rdb 文件紧凑,体积小,网络传输快,适合全量复制;恢复速度比 aof 快很多。当然,与 aof 相比,rdb 最重要的优点之一是对性能的影响相对较小。
-
缺点:rdb 文件的致命缺点在于其数据快照的持久化方式决定了必然做不到实时持久化,而在数据越来越重要的今天,数据的大量丢失很多时候是无法接受的,因此 aof 持久化成为主流。
此外,rdb 需要满足特定的格式,兼容性差/
aof 持久化:
- 与 rdb 持久化相对应,aof 的优点在于支持秒级持久化、兼容性好,缺点是文件大、恢复速度慢、对性能影响大。
上一篇: Mysql锁机制和事务隔离级别
推荐阅读
-
可持久化线段树 + 主席树 || 超详细解释 + 模板
-
学习可持久化线段树(主席树)(概念介绍[类比理解,内存池]+全套模板+例题入门:[福利]可持久化线段树)
-
专题·可持久化数据结构【including 可持久化trie,可持久化线段树
-
jzoj5382 [GDOI2018模拟9.21]数列 可持久化trie+分块
-
谈谈Redis的数据持久化
-
【jzoj5248】【NOIP2017提高A组模拟8.10】【花花的聚会】【动态规划】【可持久化线段树】
-
深入学习Redis(2):持久化
-
Redis高级实用特性(持久化机制、发布订阅消息、虚拟内存的使用)
-
Redis数据持久化
-
洛谷 P3835 【模板】可持久化平衡树