用 Redis 存储 ID 连续的数据
程序员文章站
2022-05-12 21:42:05
...
之前在设计「Doodle 2」和开发「知乎日报」时,我面对最多的数据类型就是带 ID 的数据了。 在使用关系型数据库时,自增的主键可以满足这个需求,而在 Redis 中就稍微麻烦些了。 一直以来我都额外使用了一个计数器来存储 ID,例如(省略了很多代码,不影响阅
之前在设计「Doodle 2」和开发「知乎日报」时,我面对最多的数据类型就是带 ID 的数据了。在使用关系型数据库时,自增的主键可以满足这个需求,而在 Redis 中就稍微麻烦些了。
一直以来我都额外使用了一个计数器来存储 ID,例如(省略了很多代码,不影响阅读):
class IDModel(JSONModel): id = IntegerProperty() @classmethod def get_by_id(cls, entity_id): json_content = cls.redis_client.hget(cls._KEY, entity_id) if json_content: return cls.from_json(json_content) @classmethod def get_by_ids(cls, ids): if not ids: return [] results = cls.redis_client.hmget(cls._KEY, ids) return [cls.from_json(json_content) for json_content in results] @classmethod def get_next_id(cls): return MAX_ID.get_next_id(cls._KEY) def save(self): self._populate_default_attributes() self._save_self() def _populate_default_attributes(self): if self.id is None: self.id = self.get_next_id() def _save_self(self): self.redis_client.hset(self._KEY, self.id, self.to_json()) class MAX_ID(SimpleModel): @classmethod def get_next_id(cls, for_type, increment=1): return cls.redis_client.hincrby(cls._KEY, for_type, increment) @classmethod def get_max_id(cls, for_type): return int(cls.redis_client.hget(cls._KEY, for_type) or 0)这种方式的优点是简单,比较适合存储 ID 不连续的数据;缺点是使用了 hash,比较占内存。
刚才又想到一种方法,直接把数据存到 list 里,然后依靠其长度来定 ID,例如:
class IDModel(JSONModel): id = IntegerProperty() @classmethod def get_by_id(cls, entity_id): json_content = cls.redis_client.lindex(cls._KEY, entity_id) if json_content: return cls.from_json(json_content) @classmethod def get_by_ids(cls, ids): if not ids: return [] key = cls._KEY pipe = cls.redis_client.pipeline(transaction=False) for entity_id in ids: pipe.lindex(key, entity_id) results = pipe.execute() return [cls.from_json(json_content) for json_content in results] def save(self): key = self._KEY if self.id is None: with self.redis_client.pipeline() as pipe: try: pipe.watch(key) self.id = pipe.llen(key) + 1 pipe.multi() pipe.rpush(key, self.to_json()) pipe.execute() except Exception: self.id = None raise else: self.redis_client.lset(key, self.id, self.to_json())缺点大致有如下三点:
- ID 必须连续
- 依赖事务,导致 _populate_default_attributes() 的逻辑不好分离
- 获取多个 ID 对应的实体需要执行多条语句
原文地址:用 Redis 存储 ID 连续的数据, 感谢原作者分享。
上一篇: aggregate级联查询实现步骤
下一篇: apache2.4服务器个人主页的设置
推荐阅读
-
PHP用mysql数据库存储session的代码
-
php中存储用户ID和密码到mysql数据库的方法
-
python用pandas数据加载、存储与文件格式的实例
-
用一张表来存储数据状态,并且可以进行多状态精确查询;使用二进制来表示数据状态,并且是可以无顺序的状态;解决使用中间表来存储数据的多状态;数据状态还可以这么玩;
-
用SQL批量插入数据的存储过程
-
python用pandas实现数据加载、存储与文件格式的教程
-
分布式系统ID的生成方法之UUID、数据库、算法、Redis、Leaf方案
-
把redis中的数据持久化存储到mysql中有什么现成的优秀框架吗?
-
mysql-公司遇到一个需求,数据库账户分表之后,是用long id来寻找表的
-
mysql-公司遇到一个需求,数据库账户分表之后,是用long id来寻找表的