Python全栈开发之---redis数据库

1、redis简介

redis是一个key-value存储系统。和memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。


1. 使用redis有哪些好处？

(1) 速度快，因为数据存在内存中，类似于hashmap，hashmap的优势就是查找和操作的时间复杂度都是o(1)

(2) 支持丰富数据类型，支持string，list，set，sorted set，hash

(3) 支持事务，操作都是原子性，所谓的原子性就是对数据的更改要么全部执行，要么全部不执行

(4) 丰富的特性：可用于缓存，消息，按key设置过期时间，过期后将会自动删除


2. redis相比memcached有哪些优势？

(1) memcached所有的值均是简单的字符串，redis作为其替代者，支持更为丰富的数据类型

(2) redis的速度比memcached快很多

(3) redis可以持久化其数据


3. redis常见性能问题和解决方案：

(1) master最好不要做任何持久化工作，如rdb内存快照和aof日志文件

(2) 如果数据比较重要，某个slave开启aof备份数据，策略设置为每秒同步一次

(3) 为了主从复制的速度和连接的稳定性，master和slave最好在同一个局域网内

(4) 尽量避免在压力很大的主库上增加从库

(5) 主从复制不要用图状结构，用单向链表结构更为稳定，即：master <- slave1 <- slave2 <- slave3...

这样的结构方便解决单点故障问题，实现slave对master的替换。如果master挂了，可以立刻启用slave1做master，其他不变。



 

4. mysql里有2000w数据，redis中只存20w的数据，如何保证redis中的数据都是热点数据

 相关知识：redis 内存数据集大小上升到一定大小的时候，就会施行数据淘汰策略。redis 提供 6种数据淘汰策略：

voltile-lru：从已设置过期时间的数据集（server.db[i].expires）中挑选最近最少使用的数据淘汰

volatile-ttl：从已设置过期时间的数据集（server.db[i].expires）中挑选将要过期的数据淘汰

volatile-random：从已设置过期时间的数据集（server.db[i].expires）中任意选择数据淘汰

allkeys-lru：从数据集（server.db[i].dict）中挑选最近最少使用的数据淘汰

allkeys-random：从数据集（server.db[i].dict）中任意选择数据淘汰

no-enviction（驱逐）：禁止驱逐数据

 

5. memcache与redis的区别都有哪些？

1)、存储方式

memecache把数据全部存在内存之中，断电后会挂掉，数据不能超过内存大小。

redis有部份存在硬盘上，这样能保证数据的持久性。

2)、数据支持类型

memcache对数据类型支持相对简单。

redis有复杂的数据类型。


3），value大小

redis最大可以达到1gb，而memcache只有1mb



6. redis 常见的性能问题都有哪些？如何解决？

 

1).master写内存快照，save命令调度rdbsave函数，会阻塞主线程的工作，当快照比较大时对性能影响是非常大的，会间断性暂停服务，所以master最好不要写内存快照。


2).master aof持久化，如果不重写aof文件，这个持久化方式对性能的影响是最小的，但是aof文件会不断增大，aof文件过大会影响master重启的恢复速度。master最好不要做任何持久化工作，包括内存快照和aof日志文件，特别是不要启用内存快照做持久化,如果数据比较关键，某个slave开启aof备份数据，策略为每秒同步一次。

 
3).master调用bgrewriteaof重写aof文件，aof在重写的时候会占大量的cpu和内存资源，导致服务load过高，出现短暂服务暂停现象。

4). redis主从复制的性能问题，为了主从复制的速度和连接的稳定性，slave和master最好在同一个局域网内




7, redis 最适合的场景


redis最适合所有数据in-momory的场景，虽然redis也提供持久化功能，但实际更多的是一个disk-backed的功能，跟传统意义上的持久化有比较大的差别，那么可能大家就会有疑问，似乎redis更像一个加强版的memcached，那么何时使用memcached,何时使用redis呢?

       如果简单地比较redis与memcached的区别，大多数都会得到以下观点：
、redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，zset，hash等数据结构的存储。
、redis支持数据的备份，即master-slave模式的数据备份。
、redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。

（1）、会话缓存（session cache）

最常用的一种使用redis的情景是会话缓存（session cache）。用redis缓存会话比其他存储（如memcached）的优势在于：redis提供持久化。当维护一个不是严格要求一致性的缓存时，如果用户的购物车信息全部丢失，大部分人都会不高兴的，现在，他们还会这样吗？

幸运的是，随着 redis 这些年的改进，很容易找到怎么恰当的使用redis来缓存会话的文档。甚至广为人知的商业平台magento也提供redis的插件。

（2）、全页缓存（fpc）

除基本的会话token之外，redis还提供很简便的fpc平台。回到一致性问题，即使重启了redis实例，因为有磁盘的持久化，用户也不会看到页面加载速度的下降，这是一个极大改进，类似php本地fpc。

再次以magento为例，magento提供一个插件来使用redis作为全页缓存后端。

此外，对wordpress的用户来说，pantheon有一个非常好的插件  wp-redis，这个插件能帮助你以最快速度加载你曾浏览过的页面。

（3）、队列

reids在内存存储引擎领域的一大优点是提供 list 和 set 操作，这使得redis能作为一个很好的消息队列平台来使用。redis作为队列使用的操作，就类似于本地程序语言（如python）对 list 的 push/pop 操作。

如果你快速的在google中搜索“redis queues”，你马上就能找到大量的开源项目，这些项目的目的就是利用redis创建非常好的后端工具，以满足各种队列需求。例如，celery有一个后台就是使用redis作为broker，你可以从这里去查看。

（4），排行榜/计数器

redis在内存中对数字进行递增或递减的操作实现的非常好。集合（set）和有序集合（sorted set）也使得我们在执行这些操作的时候变的非常简单，redis只是正好提供了这两种数据结构。所以，我们要从排序集合中获取到排名最靠前的10个用户–我们称之为“user_scores”，我们只需要像下面一样执行即可：

当然，这是假定你是根据你用户的分数做递增的排序。如果你想返回用户及用户的分数，你需要这样执行：

zrange user_scores 0 10 withscores

agora games就是一个很好的例子，用ruby实现的，它的排行榜就是使用redis来存储数据的，你可以在这里看到。

（5）、发布/订阅

最后（但肯定不是最不重要的）是redis的发布/订阅功能。发布/订阅的使用场景确实非常多。我已看见人们在社交网络连接中使用，还可作为基于发布/订阅的脚本触发器，甚至用redis的发布/订阅功能来建立聊天系统！（不，这是真的，你可以去核实）。

 2、redis安装和基本使用

一、安装、启动redis

1、redis安装

wget http://download.redis.io/releases/redis-3.0.6.tar.gz
tar xzf redis-3.0.6.tar.gz
cd redis-3.0.6
make

 2、启动服务端

src/redis-server

3、启动客户端

src/redis-cli
redis> set foo bar
ok
redis> get foo
"bar"

二、python操作redis

1、连接redis服务器

#/usr/bin/python
# -*- coding:utf-8 -*-
import redis
r = redis.redis(host="192.168.48.128", port=6379)
r.set("shang", "i love you!")
print(r.get("shang"))

2、string操作

1 set(name, value, ex=none, px=none, nx=false, xx=false)
2      ex，过期时间（秒）
3      px，过期时间（毫秒）
4      nx，如果设置为true，则只有name不存在时，当前set操作才执行,同setnx(name, value)
5      xx，如果设置为true，则只有name存在时，当前set操作才执行'''
6 get(name)   　　获取值
7 mset(name1=“ling”)        批量设置值,()为dict类型
8 mget(‘name1’, ‘name2’)    批量获取key的值，()为tuple类型
9 append(name, value)

3、list操作

 1 redis中存储list类型的数据是在内存中，一个name对应一个list
 2 lpush(name, value)
 3 r.lpush("list_name",2)
 4 r.lpush("list_name",3,4,5)#保存在列表中的顺序为5，4，3，2
 5 
 6 rpush(name, value)
 7 llen(name)
 8 # name对应的list元素的个数
 9 
10 # linsert(name,where,refvalue,value)
11 # name   代表的是list对应的key值
12 # where     after   before
13 # refvalue    list中的某个元素
14 # value      你要增加的值是什么
15 r.linsert("list1", "after",  "test2", "hello")
16 
17 
18 r.lset(name,index,value)：对name对应的list中的某一个索引位置重新赋值。
19 # 参数：
20     # name，redis的name
21     # index，list的索引位置
22 # value，要设置的值
23 r.lrem(name,value,num):在name对应的list中删除指定的值
24 # 参数：
25     # name，redis的name
26     # value，要删除的值
27     # num，  num=0，删除列表中所有的指定值；
28            # num=2,从前到后，删除2个；
29            # num=-2,从后向前，删除2个

lpop(name) 在name对应的列表的左侧获取第一个元素并在列表中移除，返回值删除那个元素的值

扩展： rpop(name)表示从右向左操作

lindex(name,index)：在name对应的列表中根据索引取列表元素

lrange(name,start,end)：在name对应的列表分片获取数据

 

4、set操作

 1 set 不重复的list
 2 sadd(name, values)
 3 r.sadd("set_name","aa","bb")
 4 smembers(name)
 5 #获取name对应的集合的所有成员
 6 scard(name)
 7 #获取name对应的集合中的元素个数
 8 sismember(name, value)
 9 #检查value是否是name对应的集合内的元素
10 spop(name)
11 #从集合的右侧移除一个元素，并将其返回
12 srem(name, value)  删除集合中的某个元素
13 r.srem("set_name", "aa")

5、hash操作

 1 redis在内存中存储hash类型是以name对应一个字典形式存储的
 2 hset(name,key,value)
 3 #name对应的hash中设置一个键值对(不存在，则创建；否则，修改)
 4 #参数：
 5     #name:redis的name
 6     #key:key1对应的hash中的key
 7     #value:value1对应的hash中的value
 8 hget(name,key)
 9 #在name对应的hash中获取根据key获取value
10 
11 hmset(name,mapping)
12 #在name对应的hash中批量设置键值对
13 #参数：
14      #name：redis的name
15      #mapping：字典，如{'k1':'v1','k2','v2'}
16 hmget(name,keys,*args)
17 #在name对应的hash中获取多个key的值
18 #参数：
19     #name：redis对应的name
20     #keys：要获取key的集合，如：['k1','k2','k3']
21     #*args：要获取的key,如：k1,k2,k3
22 print(r.hmget('test','k1','k2'))   #获取多个值

hgetall(name)：获取name对应hash的所有键值

hlen(name)：获取name对应的hash中键值的个数

hkeys(name)：获取name对应的hash中所有的key的值

hvals(name)：获取name对应的hash中所有的value的值

hexists(name,key)：检查name对应的hash是否存在当前传入的key

hdel(name,*keys)：将name对应的hash中指定key的键值对删除

6、其他操作

 1 delete(*names)
 2 #根据name删除redis中的任意数据类型
 3 exists(name)
 4 #检测redis的name是否存在
 5 keys(pattern='*')
 6 #根据* ？等通配符匹配获取redis的name
 7 expire(name ,time)
 8 # 为某个name设置过期时间
 9 rename(src, dst)
10 # 重命名