简单处理K->V缓存失效后高并发访问导致数据库负载急剧上升的问题
程序员文章站
2022-05-28 19:07:09
...
日常编程中,对于一些有一定并发量或数据量较高的数据库操作,我们都会在前端加一层缓存层,并设置失效时间,现在一般是mongoDB或memcached,简单流程如下:
这个模式在并发量并非太高或数据操作效率很高的情况下基本没有什么问题。
但是也许你已经看到了,if(缓存失效 && 恰好遇到并发量很高 && 数据库操作时间长) then?
1. 缓存失效
2. 第一个进程去数据库获取新数据,假如包括SQL+程序逻辑耗时5S
3. 这5S内,第二个、第三个...第N个都只是获取到已失效的缓存,于是也都连接数据库...
4. 结果显而易见,数据库锁表 -> 数据库累计大量进程 -> 直至数据库挂掉!
那么,如何去解决这个问题呢?其实最简单的方案就是:
添加一个标记,类似文件锁,用于判断此时程序是否正在更新缓存。
若是,则直接返回旧缓存(标记有设置失效时间,避免由于程序错误导致标记未删除而引起的缓存不更新问题)
若否,则设置一个标记,然后进行数据获取及缓存更新,最后删除标记。
PS. 第一次生成缓存的话可能会有些用户无法看到数据,不过这个几率很小,且可以通过其他方式如手动生成之类去解决。
流程如下: