欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

redis高并发(数据洪流)插入(SET)是如何工作的?如何应对?

程序员文章站 2022-05-26 09:46:06
...
众所周知redis只有一个线程,那么在多并发情况下:
  1. 有多个相同的set请求,redis内部的处理流程是怎样的?
  2. 我只知道命令会等待,这里的等待是所有命令都等待么?比如此时的其他set和任何get都会阻塞么?
  3. redis内部是将命令作为一个队列来处理么?或者是其他方式?
  4. 当第一个set处理完后,其他的相同的set会覆盖掉么,也就是说依然会占用cpu来工作么?希望能具体说说

面对同一时间高并发请求的场景,将数据设置进redis时如何避免大量请求redis导致cpu过高?我想到了三种方案:

  1. 调用set的时候,通过exist再次判断(取的时候会先判断exist一下,如果不存在才去SET);
  2. 通过向缓存中设置一个对象锁,set完毕后释放;
  3. 第三种方案是今天刚查到的,通过setnx命令来控制。

不知道哪一种最合适,个人感觉第三种因为是redis支持的。希望高人指点一二,不胜感激

回复内容:

众所周知redis只有一个线程,那么在多并发情况下:

  1. 有多个相同的set请求,redis内部的处理流程是怎样的?
  2. 我只知道命令会等待,这里的等待是所有命令都等待么?比如此时的其他set和任何get都会阻塞么?
  3. redis内部是将命令作为一个队列来处理么?或者是其他方式?
  4. 当第一个set处理完后,其他的相同的set会覆盖掉么,也就是说依然会占用cpu来工作么?希望能具体说说

面对同一时间高并发请求的场景,将数据设置进redis时如何避免大量请求redis导致cpu过高?我想到了三种方案:

  1. 调用set的时候,通过exist再次判断(取的时候会先判断exist一下,如果不存在才去SET);
  2. 通过向缓存中设置一个对象锁,set完毕后释放;
  3. 第三种方案是今天刚查到的,通过setnx命令来控制。

不知道哪一种最合适,个人感觉第三种因为是redis支持的。希望高人指点一二,不胜感激

  1. 参考epoll(IO多路复用)
  2. 参见1
  3. 陆续执行。具体请看源码

后一个问题请高人回答。

关于楼主的问题,我觉得重点是了解下面2点:

  1. redis是一个单线程程序,也就说同一时刻它只能处理一个客户端请求;
  2. redis是通过IO多路复用(select,epoll, kqueue,依据不同的平台,采取不同的实现)来处理多个客户端请求的,伪代码:
while True:
        # 当没有客户端发请求时,redis会阻塞在select调用
        clients = select(...);
        for client in clients:
            processRequest(client)

上述的整个流程封装在ae事件库中,可以参考ae.c, ae.h源代码