Redis总结
资源列表:
redis是什么
redis是一个开源(bsd许可)的内存中的数据结构存储，用作数据库、缓存和消息中间件。它支持多种数据结构，如字符串、哈希表、列表、无序集合、有序集合的范围查询，位图、基数统计和地理空间索引的与查询。redis内置复制、lua脚本、lru回收、事务和不同级别的磁盘持久化，并通过哨兵和自动分区提供高可用性集群。
单线程结构
- 纯内存数据库，瓶颈不在内存，在于网络io
- 单线程，避免频繁切换上下文
- 异步阻塞i/o（多路复用）
持久化
rdb（redis database）持久化
- 快照
- 优点：适合备份、还原、恢复数据快、最大化 redis 的性能
- 缺点：两次快照间的数据会丢失、数据集比较庞大时，
fork()可能会非常耗时
aof（append only file）持久化
- 日志
- 优点：数据完整性高、可读性高、可重写（重写后的新 aof 文件包含了恢复当前数据集所需的最小命令集合）
- 缺点：体积大、慢于rdb、有bug
事务
multi开启事务，exec执行事务
可以看到，redis事务实现原理是将要执行的命令，存储到一个队列中，依次执行，报错时停止并取消事务，不报错则提交事务。
例外：不会回滚的情况：
当一个事务中某一条（多条）命令加入队列不报错，执行时才会报错，则redis会忽略错误继续执行。
使用watch监视一个(或多个) key ，如果在事务执行之前这个(或这些) key 被其他命令所改动，那么事务将被打断。当exec被调用时， 不管事务是否成功执行， 对所有键的监视都会被取消。或者调用unwatch手动取消监控。
管道
- pipeline通过减少客户端与redis的通信次数来实现降低往返延时时间，而且pipeline 实现的原理是队列，而队列的原理是时先进先出，这样就保证数据的顺序性。
- 适用场景：批量操作、可靠性要求不高、
lua脚本
lua是一个高效的轻量级脚本语言，用标准c语言编写并以源代码形式开放， 其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能，从定义上来说， redis 中的脚本本身就是一种事务， 所以任何在事务里可以完成的事， 在脚本里面也能完成。 并且一般来说， 使用脚本要来得更简单，并且速度更快。
- 通过lua脚本可以原子执行多条redis命令
- 执行lua脚本期间，会阻塞所有命令操作
使用脚本的好处
- 减少网络开销，在lua脚本中可以把多个命令放在同一个脚本中运行
- 原子操作，redis会将整个脚本作为一个整体执行，中间不会被其他命令插入。换句话说，编写脚本的过程中无需担心会出现竞态条件
- 复用性，客户端发送的脚本会永远存储在redis中，这意味着其他客户端可以复用这一脚本来完成同样的逻辑
多数据库支持
默认支持16个数据库；可以理解为一个命名空间
跟关系型数据库不一样的点
- redis不支持自定义数据库名词
- 每个数据库不能单独设置授权
- 每个数据库之间并不是完全隔离的。 可以通过flushall命令清空redis实例面的所有数据库中的数据
通过 select dbid 去选择不同的数据库命名空间 。 dbid的取值范围默认是0 -15
分布式集群
redis cluster中，sharding采用slot(槽)的概念，一共分成16384个槽，这有点儿类似前面讲的pre sharding思路。对于每个进入redis的键值对，根据key进行散列，分配到这16384个slot中的某一个中。使用的hash算法也比较简单，就是crc16后16384取模。redis集群中的每个node(节点)负责分摊这16384个slot中的一部分，也就是说，每个slot都对应一个node负责处理。当动态添加或减少node节点时，需要将16384个槽做个再分配，槽中的键值也要迁移。当然，这一过程，在目前实现中，还处于半自动状态，需要人工介入。redis集群，要保证16384个槽对应的node都正常工作，如果某个node发生故障，那它负责的slots也就失效，整个集群将不能工作。为了增加集群的可访问性，官方推荐的方案是将node配置成主从结构，即一个master主节点，挂n个slave从节点。这时，如果主节点失效，redis cluster会根据选举算法从slave节点中选择一个上升为主节点，整个集群继续对外提供服务。这非常类似服务器节点通过sentinel监控架构成主从结构，只是redis cluster本身提供了故障转移容错的能力。
- redis sharding
- codis
- twemproxy
支持的数据类型、常用命令、常用场景
string
默认存储最大容量为512m
常用命令：、、、、、、、
- set+get：缓存、单点登录
- bitmap：用户上线次数统计
- incr：计数器、限速器
list
有序，可重复
常用命令：、、、、、、、
- lpush+lpop：stack(栈)
- lpush+rpop：queue（队列）
- lpush+ltrim：capped collection（有限集合）
- lpush+brpop：message queue（消息队列）
- blpop：事件提醒（替代轮询）
hash
不支持数据类型的嵌套
适合存储对象
常用命令：、、、、、、、、
set
无序、不重复
常用命令：、、、、、
- sadd：标签
- sinter：交集
- sunion：并集
sortedset
有序、不重复
常用命令：、
- zcount：统计信息
- zrevrange：排行榜
key
常用命令：、
script
常用命令：
redis安装
安装
首先，到redis官网找到要安装的redis版本，redis下载页，我们这里选用v4.0.11，依次执行下面命令：
# wget http://download.redis.io/releases/redis-4.0.11.tar.gz # tar xzf redis-4.0.11.tar.gz # cd redis-4.0.11 # make
到此安装完成，然后可以通过make test测试编译状态
# make test
无报错完成编译应该会有这样的输出：
报错：需要tcl 8.5以上来运行redis test
you need tcl 8.5 or newer in order to run the redis test
make: *** [test] error 1
下面安装tcl8.6.1：
# wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar.gz # sudo tar xzvf tcl8.6.1-src.tar.gz # cd tcl8.6.1/unix/ # sudo ./configure # sudo make # sudo make install
再次运行make test，没问题之后，运行最后一步，完成安装：
# make install
直接启动：
# ./redis-server ../redis.conf
后台启动redis，只需修改redis.conf配置文件的daemonize yes，再次启动即可。
安装启动相关命令
启动redis服务器：
# ./redis-server ../redis.conf
停止redis服务:
# ./redis-cli shutdown
连接本地启动好的redis：
# redis-cli
根据ip端口连接redis：
# redis-cli -h 127.0.0.1 -p 6379
查看当前是否设置了密码
127.0.0.1:6379> config get requirepass 1) "requirepass" 2) ""
设置密码
127.0.0.1:6379> config set requirepass 123456 //密码是123456 ok
使用总结
关于key
- 建议key不要太长，不要超过1024字节，占用内存且会降低查询效率
- 建议统一命名规则，例如：string:001:zhangsan:age
使用 bitmap 实现用户上线次数统计
bitmap 对于一些特定类型的计算非常有效。
假设现在我们希望记录自己网站上的用户的上线频率，比如说，计算用户 a 上线了多少天，用户 b 上线了多少天，诸如此类，以此作为数据，从而决定让哪些用户参加 beta 测试等活动 —— 这个模式可以使用 setbit 和 bitcount 来实现。
比如说，每当用户在某一天上线的时候，我们就使用 setbit ，以用户名作为 key ，将那天所代表的网站的上线日作为 offset 参数，并将这个 offset 上的为设置为 1 。
举个例子，如果今天是网站上线的第 100 天，而用户 peter 在今天阅览过网站，那么执行命令 setbit peter 100 1 ；如果明天 peter 也继续阅览网站，那么执行命令 setbit peter 101 1 ，以此类推。
当要计算 peter 总共以来的上线次数时，就使用 bitcount 命令：执行 bitcount peter ，得出的结果就是 peter 上线的总天数。
更详细的实现可以参考博文(墙外) fast, easy, realtime metrics using redis bitmaps 。
缓存
缓存一致性
- 先更新库数据，再删除缓存
缓存击穿和缓存雪崩
分布式锁的实现
setnx+lua实现
public class redistool {
private static final string lock_success = "ok";
private static final string set_if_not_exist = "nx";
private static final string set_with_expire_time = "px";
private static final long release_success = 1l;
// 获取锁
public static boolean getlock(jedis jedis, string lockkey, string requestid, int expiretime) {
string result = jedis.set(lockkey, requestid, set_if_not_exist, set_with_expire_time, expiretime);
if (lock_success.equals(result)) {
return true;
}
return false;
}
// 释放锁
public static boolean releaselock(jedis jedis, string lockkey, string requestid) {
string script = "if redis.call('get', keys[1]) == argv[1] then return redis.call('del', keys[1]) else return 0 end";
object result = jedis.eval(script, collections.singletonlist(lockkey), collections.singletonlist(requestid));
if (release_success.equals(result)) {
return true;
}
return false;
}
}
抢红包，秒杀的实现
incr+lua脚本实现
参考链接：
更多信息可以关注我的个人博客：或