Redis 介绍

1.1 redis是什么

redis是一个开源的，使用ansi c 编写，高性能的key-value的nosql数据库。

 

1.2 redis特点

（1）基于内存

（2）可持久化数据

（3）具有丰富的数据结构类型，适应非关系型数据的存储需求

（4）支持绝大多数主流开发语言，如c、c++、java、python、r、javascript等。

（5）支持集群模式，高效、稳定。

 

1.3 数据模型（重点）

（1）键值对形式。

（2）redis的数据结构类型，指的就是redis值的结构类型。

 

 

 

1.4 redis作用

（1）本质是数据库，能存储数据。

redis能灵活处理非关系型数据的读、写问题，是对mysql等关系型数据库的补充。

新浪微博就是使用redis集群做数据库。

 

（2）缓存数据。

所谓缓存，就是将数据加载到内存中后直接使用，而不是每次都通过io流从磁盘上读取。好处：读写效率高。

而redis则是将数据直接存储在内存中，只有当内存空间不足时，将部分数据持久化到磁盘上。

 

2 redis安装

2.1 说明

本课程是在linux上安装redis。

而redis官方只提供了源码，并没有提供经过编译之后的安装包。

因此，安装redis，要先编译、后安装。（即源码安装方式）

 

2.2 redis安装步骤

1)、下载，上传到linux服务器，并解压

2)、预编译（实际上是检查编译环境的过程）

进入目录：   cd /opt/soft/redis-3.2.9/deps/jemalloc

执行预编译  ./configure

     在预编译的过程中，会检测安装redis所需的相关依赖，依次安装即可。

            （a）缺少c编译环境  yum -y install gcc-c++

预编译不是必须的步骤，它只是在检查编译过程中需要的环境是否满足。

通常源码包中，都有一个可执行的configure脚本，这个脚本执行预编译的脚本。但是有一些源码包中，没有该文件，可以省略预编译步骤。

 

3)、编译  进入/opt/soft/redis-3.2.9/src

     make

4)、安装  进入/opt/soft/redis-3.2.9/src

     make install

5)、启动redis服务端(指定配置文件)   

拷贝redis.conf文件到/etc 目录下，方便管理。

cp /opt/soft/redis-3.2.9/redis.conf /etc/

/usr/local/bin/redis-server   /etc/redis.conf

 

 

 

6)、启动redis客户端，登陆   /usr/local/bin/redis-cli

 

 

 

7)、安装成功

2.3 redis.conf常用配置说明

2.3.1 requirepass foobar

给redis设置密码

 

 

 

在客户端使用auth命令，验证密码。

 

 

 

2.3.2 databases 16

redis默认有16个数据库，寻址角标从0开始。

默认连接db0

 

 

 

客户端使用select命令，切换数据库

 

 

 

2.3.3 port 6379

指定redis的服务端口，默认6379.

 

 

 

2.3.4 daemonize no

redis默认关闭后台进程模式，改成yes，redis服务在后台启动。

 

 

 

2.3.5 loglevel notice(了解)

 

 

 

2.3.6 logfile “ ”

redis日志输出目录，默认不输出日志到文件。

 

 

       

2.3.7 dbfilename dump.rdb、dir ./

指定数据持久化的文件名及目录。

 

 

 

2.4 将redis添加为系统服务

2.4.1 第一步：开启后台模式

修改配置文件，将daemonize改为yes

2.4.2 第二步：创建shell脚本

说明：linux系统服务，在/etc/init.d目录下创建redis脚本

###########################

#chkconfig: 2345 10 90

#description: start and stop redis

path=/usr/local/bin:/sbin:/usr/bin:/bin

   

redisport=6379

exec=/usr/local/bin/redis-server

redis_cli=/usr/local/bin/redis-cli

##判断redis是否启动了 

pidfile=/var/run/redis_6379.pid

conf="/etc/redis.conf"

password=$(cat $conf|grep '^\s*requirepass'|awk '{print $2}'|sed 's/"//g')

   

case "$1" in

    start)

        if [ -f $pidfile ]

        then

                echo "$pidfile exists, process is already running or crashed"

        else

                echo "starting redis server..."

                $exec $conf

        fi

        if [ "$?"="0" ]

        then

              echo "redis is running..."

        fi

        ;;

    stop)

        if [ ! -f $pidfile ]

        then

                echo "$pidfile does not exist, process is not running"

        else

                pid=$(cat $pidfile)

                echo "stopping ..."

if [ -z $password ]

then 

    $redis_cli -p $redisport shutdown

else

    $redis_cli -a $password -p $redisport shutdown

fi

                #$redis_cli -p $redisport shutdown

                while [ -x ${pidfile} ]

               do

                    echo "waiting for redis to shutdown ..."

                    sleep 1

                done

                echo "redis stopped"

        fi

        ;;

   restart|force-reload)

        ${0} stop

        ${0} start

        ;;

  *)

    echo "usage: /etc/init.d/redis {start|stop|restart|force-reload}" >&2

        exit 1

esac

##############################

 

2.4.3 第三步：添加shell脚本可执行权限

[root@node0927 ~]chmod +x /etc/init.d/redis

 

2.4.4 第四步：添加redis开机启动

[root@node0927 ~]chkconfig redis on

 

3 redis的值value（数据结构类型）

redis的数据结构类型，指的就是redis的值value的类型；

redis常用的数据结构类型：string、list、set、sortedset、hash

 

4 redis的键key

4.1 key的类型

redis的key 值是二进制安全的，这意味着可以用任何二进制序列作为key值，从形如”foo”的简单字符串到一个jpeg文件的内容都可以。

空字符串也是有效key值。

redis建议使用字符串做为key的类型

 

4.2 key取值规范

（1）键值不需要太长，消耗内存，在数据中查找这类键值的计算成本较高

（2）键值不宜过短，可读性较差，通常建议见名知意。

 

4.2.1 取值举例

将如下数据库表中的数据，转换为redis的key-value存储

id	username	password	email
1	lisi	111111	[e-mail]

        

127.0.0.1:6379> set user:id:1:username lisi 

ok 

127.0.0.1:6379> set user:id:1:password 111111

ok 

127.0.0.1:6379> set user:id:1:email 

ok 

 

127.0.0.1:6379> keys user:id:1* #查找有几个属性

1) "user:id:1:password" 

2) "user:id:1:username" 

3) "user:id:1:email" 

127.0.0.1:6379>

 

4.3 key命令

exists key  

检查给定key是否存在。注意事项，不支持通配符

del key

删除一个key

 

del key1 key2 key3  删除多个key

 

keys pattern （模糊查找）

查找所有符合给定模式 pattern 的 key 。

keys * 匹配数据库中所有 key 。

keys n?me 匹配 name、neme、nfme 等。

keys n* 匹配 name、neme、naaaaame等。

keys n[ae]me 只能匹配 name、neme。

 

expire key seconds

指定key的过期时间。

新添加的key，如果没有指定过期时间，则会一直保存。

可以对一个已经带有生存时间的key执行expire命令，新指定的生存时间会取代旧的生存时间。

ttl key   (time to live)

查看某个key的剩余过期时间，返回值：

-2 表示这个key已经过期，删除掉

-1 表示没有设置过期时间

其它 表示剩余的生存时间，单位为秒。

rename

语法格式：rename key newkey

将 key 改名为 newkey 。

当 key 和 newkey 相同，或者 key 不存在时，返回一个错误。

当 newkey 已经存在时， rename 命令将覆盖旧值。

 

type key

查看key对应的value的数据结构类型。

其它key命令见redis帮助文档   

get key

   查看某一个key的值

 

4.4 string类型

        string类型是redis最常用的数据结构类型，存储的值为字符串。

4.4.1 string相关命令

set key value

设置一个key，值为value，类型为string类型；如果这个key已经存在，则更新这个key的值。

返回值

1 表示成功

0 表示失败

 

setnx key value

如果这个key不存在，则设置一个key，值为value；如果key存在，则不做更新。

返回值

1 表示成功

0 表示失败

 

get key

获取key对应的value值；如果key不存在，则返回nil

 

 

mget key1 key2 key3

一次获取多个key的值，如果对应key不存在，则对应返回nil。

 

incr key

将 key 中储存的数字值增一，然后返回。

如果这个key不存在，那么key的值会先被初始化为0，然后再执行incr

操作。

    如果这个key对应的value值，不能表示数字，则会返回一个错误。

incrby key increment

    将key增加指定的步长值。

decr key

将 key 中储存的数字值减一，然后返回。

如果这个key不存在，那么key的值会先被初始化为0，然后再执行incr操作。

如果这个key对应的value值，不能表示数字，则会返回一个错误。

 

redis的key是单线程模式，这就意味一瞬间只有一个线程能够持有这个key，所以可以使用redis解决部分涉及线程安全的业务。比如，在初级时候通过多线程模拟卖票，使用加锁的方式，保证只有一个线程能够持有锁，进行买票业务。

 

decrby key decrement

将key减少对应的步长值。

 

append key value

如果key已经存在，则将value追加到这个key原先的value值的末尾。

    如果这个key不存在，则执行set操作。

 

127.0.0.1:6379> help @string 查看string类型的帮助文档

127.0.0.1:6379> help set   查看set命令的帮助文档

 

4.4.2 string类型的应用场景

（1）、做与统计有关的业务，如新浪微博(微信朋友圈)中的点赞功能

 

 

 

（2）解决多线程的线程安全问题。

redis的key是单线程模式，这就意味一瞬间只有一个线程能够持有这个key，所以可以使用redis解决部分涉及线程安全的业务，比如说抢购、秒杀。

再比如初级的时候学习多线程模拟买票窗口的卖票业务。

 

4.5 list类型

4.5.1 特点

（1）、基于linked list实现

（2）、元素是字符串类型

（3）、列表头尾增删快，中间增删慢，增删元素是常态

（4）、元素可以重复出现

（5）、最多包含2^32-1元素

 

 

 

 

列表的索引

n  从左至右，从0开始

n  从右至左，从-1开始

 

 

 

4.5.2 list类型相关命令

lpush key value [value ...]

将一个或多个值value插入到列表key的表头（即从左边插入）；

如果有多个value值，那么各个value值按从左到右的顺序依次插入到表头：比如说，对空列表mylist执行命令lpush mylist a b c，列表的值将是 c b a 这等同于原子性地执行 lpush mylist a 、 lpush mylist b 和 lpush mylist c 三个命令；

如果 key 不存在，一个空列表会被创建并执行 lpush 操作。

当 key 存在但不是列表类型时，返回一个错误。

 

rpush key value [value ...]

  尾部添加（从右向左），操作同上。

 

llen key

返回key对应list的长度，key不存在返回0,如果key对应类型不是list返回错误

 

lindex key index

index元素在list列表中的下角标，从0开始;

lindex  是从左到右取元素

lrange key start stop

获取指定区间的所有元素；

下角标从0开始，0表示第一个元素，1表示第二个，依次类推；

-1表示最后一个元素，-2表示倒数第二个元素，依次类推；

lpop key   

移除并返回列表中的第一个元素

rpop key   

移除并返回列表中的最后一个元素。

 

4.5.3 list类型应用场景

（1）处理排名类业务。如新浪微博评论、论坛回帖楼层等。

（2）聊天室

 

4.6 hash类型（散列）

4.6.1 特点

 

 

（1）由field和与之关联的value组成map键值对

（2）field和value是字符串类型；

（3）一个hash中最多包含2^32-1键值对。

 

4.6.2 hash相关命令

hset key field value

设置hash field为指定值，如果key不存在，则先创建

如果field已经存在，那么将更新这个field的值。

 

hget key field  

获取指定的hash field

 

hmget key filed1....fieldn

获取全部指定的hash filed

 

hmset key filed1 value1 ... filedn valuen

同时设置hash的多个field

 

hexists key field

测试指定field是否存在

 

hdel key field

删除指定的hash field

 

hlen key

返回指定hash的field数量

 

hkeys key

返回hash的所有field

 

hvals key

返回hash的所有value

 

hgetall

返回hash的所有filed和value

 

4.6.3 hash的用途（能使用hash的时候尽量使用hash）

节约内存空间：

redis每创建一个键，都会为这个键储存一些附加的管理信息（比如这个键的类型，这个键最后一次被访问的时间等等）

 

redis的key相对于值来说，更珍贵！！！

 

所以数据库里面的键越多，redis数据库服务器在储存附加管理信息方面耗费的内存就越多，在获取key对应的value值时cpu的开销也会更多

hash结构可以将具有关联关系的一组key-value，存储到同一个hash结构中，从而减少key的数量。

 

 

 

 

4.6.4 hash不适用的场景

    如果我们仅仅只对一个字段设置过期，就不建议使用hash。

redis的key的过期功能只能对键操作，而hash结构不能单独对某一个filed设置过期功能。

 

说明：在实际开发中，能使用hash的时候，尽量使用hash！！

4.7 set类型（集合）

4.7.1 特点

 

 

 

（1）无序的、去重的；

（2）元素是字符串类型；

（3）最多包含2^32-1元素。

 

4.7.2 set相关命令

sadd key member [member ...]（无序不重复）

将一个或多个 member 元素加入到集合 key 当中，已经存在于集合的 member 元素将被忽略。

假如 key 不存在，则创建一个只包含 member 元素作成员的集合。

当 key 不是集合类型时，返回一个错误。

 

smembers key

返回集合 key 中的所有成员。

不存在的 key 被视为空集合。

 

spop key

移除并返回集合中的一个随机元素。

被移除的随机元素。

当key不存在或key是空集时，返回nil。

 

scard key

返回集合key的基数(集合中元素的数量)。

集合的基数。

当key不存在时，返回0。

 

交集、并集、差集sinter sunion sdiff

sinter key [key ...]

返回一个集合的全部成员，该集合是所有给定集合的交集。

不存在的 key 被视为空集。

 

sunion key [key ...]

返回一个集合的全部成员，该集合是所有给定集合的并集。

不存在的 key 被视为空集。

 

sdiff key [key ...]

返回一个集合的全部成员，该集合是所有给定集合之间的差集。

不存在的 key 被视为空集。

 

4.7.3 应用场景

（1）新浪微博的共同关注

 

 

 

需求：当用户访问另一个用户的时候，会显示出两个用户共同关注哪些相同的用户

设计：将每个用户关注的用户放在集合中，求交集即可

实现如下：

peter={'john','jack','may'}

ben={'john','jack','tom'}

那么peter和ben的共同关注为：

sinter peter ben 结果为{'john','jack'}

 

4.8 sortedset类型

4.8.1 特点

 

 

 

（1）类似set集合；

（2）有序的、去重的；

（3）元素是字符串类型；

（4）每一个元素都关联着一个浮点数分值（score），并按照分值从小到大的顺序排列集合中的元素。分值可以相同

（5）最多包含2^32-1元素

 

 

zadd key  [sort member sort member] :增加值

如： zadd set1 1 zhangsan 2 lisi

 

zrange key start end   查询只定范围的值

如： zrange set1 0 10

 

zcount key start end 统计一个范围内元素的个数

如： zcount set1 0 10

 

zcard key  ：统计元素的个数

如 ： zcard set1

zrank key :返回成员的索引号

如： zrank set1

 

zrem  key [member member] 删除成员

 如： zrem set1 zhangsan

 

 

 

4.8.2 适用场景

适用于需要有序且唯一的业务或操作：

（1）网易音乐排行榜

 

 

分析：

每首歌的歌名作为元素（唯一、不重复）

每首歌的播放次数作为分值

zrevrange来获取播放次数最多的歌曲（就是最多播放榜了，云音乐热歌榜，没有竞价，没有权重）

 

5 jedis连接redis服务器

5.1 项目结构

 

 

 

5.2 jedis连接redis服务端

import java.util.set;

 

import org.junit.test;

 

import redis.clients.jedis.jedis;

 

public class testjedis {

 

@test

public void testjedisconnect(){

// 连接redis服务器端(使用host)

@suppresswarnings("resource")

jedis jedis = new jedis("192.168.56.128");

system.out.println("连接redis服务端成功！");

//测试redis服务器是否正在运行

system.out.println("redis服务器正在运行吗？"+ jedis.ping());

system.out.println("redis服务器信息？\n"+ jedis.info());

}

}

 

 

tips:使用jedis连接redis可能会出现的问题及解决方案：

1）ip绑定问题

connection refused: connect

 

 

把redis的配置文件redis.conf里的

bind localhost（或者bind 127.0.0.1，表明只有该主机才能访问）注释掉。

 

 

或者修改为：

bind ip     表明，只能通过ip访问。

 

 

2）、保护模式

denied redis is running in protected mode because protected mode is enabled…

redis处于保护模式，只能本地链接，我们需要修改配置文件redis.conf，将protected-mode yes改成no

 

 

 

5.3 key测试

@test

public void testkey(){

@suppresswarnings("resource")

jedis jedis = new jedis("192.168.56.128");

system.out.println("连接redis服务端成功！");

//测试redis服务器是否正在运行

system.out.println("redis服务器正在运行吗？"+ jedis.ping());

 

jedis.set("jediskey", "apple");

 

string value = jedis.get("jediskey");

 

system.out.println(value);

 

set<string> keys = jedis.keys("*");

 

for (string string : keys) {

system.out.println(string);

}

 

}

 

5.4 list测试

@test

public void testlist(){

@suppresswarnings("resource")

jedis jedis = new jedis("192.168.56.128");

system.out.println("连接redis服务端成功！");

//测试redis服务器是否正在运行

system.out.println("redis服务器正在运行吗？"+ jedis.ping());

 

jedis.lpush("list01", "string1");

jedis.lpush("list01", "string2");

jedis.lpush("list01", "string3");

list<string> liststring = jedis.lrange("list01", 0, 2);

for (string string : liststring) {

system.out.println(string);

}

}

 

5.5 set测试

@test

public void testset(){

@suppresswarnings("resource")

jedis jedis = new jedis("192.168.56.128");

system.out.println("连接redis服务端成功！");

//测试redis服务器是否正在运行

system.out.println("redis服务器正在运行吗？"+ jedis.ping());

 

jedis.sadd("jedisset", "mysql");

jedis.sadd("jedisset", "oracle","mongodb");

set<string> set = jedis.sunion("jedisset");

for (string string : set) {

system.out.println(string);

}

}

 

5.6 hash测试

@test

public void testhash(){

@suppresswarnings("resource")

jedis jedis = new jedis("192.168.56.128");

system.out.println("连接redis服务端成功！");

//测试redis服务器是否正在运行

system.out.println("redis服务器正在运行吗？"+ jedis.ping());

 

jedis.hset("hash01", "name", "zhangsan");

jedis.hset("hash01", "age", "18");

jedis.hset("hash01", "phone", "18627738874");

list<string> hashstring = jedis.hmget("hash01", "name","age","phone");

for (string string : hashstring) {

system.out.println(string);

}

}

 

6 redis持久化

redis持久化，就是将内存中的数据，永久保存到磁盘上。

redis持久化有两种方式：rdb(redis db)、aof(appendonlyfile)

6.1 rdb（快照模式）

在默认情况下，redis 将数据库快照保存在名字为dump.rdb的二进制文件中，可以在redis.conf配置文件中修改持久化信息。

 

 

6.1.1 策略

（1）自动：bgsave

按照配置文件中的条件满足就执行bgsave；

非阻塞，redis服务正常接收处理客户端请求；

redis会folk()一个新的子进程来创建rdb文件，子进程处理完后会向父进程发送一个信号，通知它处理完毕；

父进程用新的dump.rdb替代旧文件。

 

 

 

（2）手动：save

客户端（redis-cli）发起save命令；

n  阻塞redis服务，无法响应客户端请求；

n  创建新的dump.rdb替代旧文件。

 

 

 

 

6.1.2 优点

（1）执行效率高；

（2）恢复大数据集速度较aof快。

 

6.1.3 缺点

（1）会丢失最近写入、修改的而未能持久化的数据；

（2）folk过程非常耗时，会造成毫秒级不能响应客户端请求。

 

6.2 aof（追加模式、文本重演）

6.2.1 特点

append only file，采用追加的方式保存，默认文件appendonly.aof；

记录所有的写操作命令，在服务启动的时候使用这些命令就可以还原数据库；

aof默认关闭，需要在配置文件中手动开启。

 

 

 

6.2.2 写入机制

说明：aof机制，添加了一个内存缓冲区(buffer)。

 

（1）将内容写入缓冲区

（2）当缓冲区被填满、或者用户手动执行fsync、或者系统根据指定的写入磁盘策略自动调用fdatasync命令，才将缓冲区里的内容真正写入磁盘里。

（3）在缓冲区里的内容未写入磁盘之前，可能会丢失。

 

6.2.3 写入磁盘的策略

n  appendfsync选项，这个选项的值可以是always、everysec或者no

 

 

 

always：服务器每写入一个命令，就调用一次fdatasync，将缓冲区里面的命令写入到硬盘。这种模式下，服务器出现故障，也不会丢失任何已经成功执行的命令数据

everysec（默认）：服务器每一秒重调用一次fdatasync，将缓冲区里面的命令写入到硬盘。这种模式下，服务器出现故障，最多只丢失一秒钟内的执行的命令数据

no：服务器不主动调用fdatasync，由操作系统决定何时将缓冲区里面的命令写入到硬盘。这种模式下，服务器遭遇意外停机时，丢失命令的数量是不确定的

运行速度：always的速度慢，everysec和no都很快

 

6.2.4 aof重写机制

aof文件过大，合并重复的操作，aof会使用尽可能少的命令来记录。

6.2.4.1 重写过程

（1）folk一个子进程负责重写aof文件

（2）子进程会创建一个临时文件写入aof信息

n （3）父进程会开辟一个内存缓冲区接收新的写命令

n （4）子进程重写完成后，父进程会获得一个信号，将父进程接收到的新的写操作由子进程写入到临时文件中

n （5）新文件替代旧文件

重写的本质：就是将操作同一个键的命令，合并。从而减小aof文件的体积

 

 

 

6.2.4.2 aof重写触发机制

（1）手动：

客户端向服务器发送bgrewriteaof命令

 

（2）自动：

配置文件中的选项，自动执行bgrewriteaof命令

 

 

auto-aof-rewrite-min-size <size>，

触发aof重写所需的最小体积：只要在aof文件的体积大于等于size时，才会考虑是否需要进行aof重写，这个选项用于避免对体积过小的aof文件进行重写

auto-aof-rewrite-percentage <percent>

指定触发重写所需的aof文件体积百分比：当aof文件的体积大于auto-aof-rewrite-min-size指定的体积，并且超过上一次重写之后的aof文件体积的percent %时，就会触发aof重写。（如果服务器刚刚启动不久，还没有进行过aof重写，那么使用服务器启动时载入的aof文件的体积来作为基准值）。将这个值设置为0表示关闭自动aof重写。

6.2.5 优点

n 写入机制，默认fysnc每秒执行，性能很好不阻塞服务，最多丢失一秒的数据；

n 重写机制，优化aof文件；

n 如果误操作了（flushall等），只要aof未被重写，停止服务移除aof文件尾部flushall命令，重启redis，可以将数据集恢复到flushall 执行之前的状态。

 

6.2.6 缺点

相同数据集，aof文件体积较rdb大了很多；

恢复数据库速度较rdb慢（文本，命令重演）。