redis高并发(数据洪流)插入(SET)是如何工作的?如何应对?
程序员文章站
2022-05-16 16:10:29
...
众所周知redis只有一个线程,那么在多并发情况下:
- 有多个相同的set请求,redis内部的处理流程是怎样的?
- 我只知道命令会等待,这里的等待是所有命令都等待么?比如此时的其他set和任何get都会阻塞么?
- redis内部是将命令作为一个队列来处理么?或者是其他方式?
- 当第一个set处理完后,其他的相同的set会覆盖掉么,也就是说依然会占用cpu来工作么?希望能具体说说。
面对同一时间高并发请求的场景,将数据设置进redis时如何避免大量请求redis导致cpu过高?我想到了三种方案:
- 调用set的时候,通过exist再次判断(取的时候会先判断exist一下,如果不存在才去SET);
- 通过向缓存中设置一个对象锁,set完毕后释放;
- 第三种方案是今天刚查到的,通过setnx命令来控制。
不知道哪一种最合适,个人感觉第三种因为是redis支持的。希望高人指点一二,不胜感激。
回复内容:
众所周知redis只有一个线程,那么在多并发情况下:
- 有多个相同的set请求,redis内部的处理流程是怎样的?
- 我只知道命令会等待,这里的等待是所有命令都等待么?比如此时的其他set和任何get都会阻塞么?
- redis内部是将命令作为一个队列来处理么?或者是其他方式?
- 当第一个set处理完后,其他的相同的set会覆盖掉么,也就是说依然会占用cpu来工作么?希望能具体说说。
面对同一时间高并发请求的场景,将数据设置进redis时如何避免大量请求redis导致cpu过高?我想到了三种方案:
- 调用set的时候,通过exist再次判断(取的时候会先判断exist一下,如果不存在才去SET);
- 通过向缓存中设置一个对象锁,set完毕后释放;
- 第三种方案是今天刚查到的,通过setnx命令来控制。
不知道哪一种最合适,个人感觉第三种因为是redis支持的。希望高人指点一二,不胜感激。
- 参考epoll(IO多路复用)
- 会
- 参见1
- 陆续执行。具体请看源码。
后一个问题请高人回答。
关于楼主的问题,我觉得重点是了解下面2点:
- redis是一个单线程程序,也就说同一时刻它只能处理一个客户端请求;
- redis是通过IO多路复用(select,epoll, kqueue,依据不同的平台,采取不同的实现)来处理多个客户端请求的,伪代码:
while True:
# 当没有客户端发请求时,redis会阻塞在select调用
clients = select(...);
for client in clients:
processRequest(client)
上述的整个流程封装在ae事件库中,可以参考ae.c, ae.h源代码