如何设计可离线工作的软件的同步功能
典型代表:有道云笔记、挖财记账本
目前,我使用php开发一款软件的服务端,软件提供网页版和客户端。在离线状态下,客户端主要功能也是可以使用的。
现在采用的方案是:
用C语言写了一个php的扩展,用于生成唯一int64值
。
需要同步的数据表,都添加了一个字段modify_num,存放唯一int64值,对数据记录进行增删改时,都改变modify_num。
客户端定时执行同步操作,每次同步包含2个原子操作:先是客户端给服务端自己最大的modify_num,服务端把大于该modify_num的数据都返回给客户端,简称为update
;然后客户端处理完数据后,把客户端需要进行增删改的数据发送给服务端,服务端进行处理,简称为commit
。
补充:
1.为什么modify_num不直接使用时间戳,而是唯一数值:
我们没有直接采用时间戳是有原因的:操作时间间隔太短的时候,产生的时间戳会是相同的数值。如果不唯一会有这样的情况发生,在update时服务端返回了多条modify_num相同的数据给客户端,客户端每处理一条就修改自己的最大modify_num,万一客户端以为外因崩溃,多条数据没有处理完,下次启动时发送的最大modify_num给服务端,那么服务端返回的是大于这个值的数据,意味着那几条因为崩溃没有处理的数据都没有拿到。采用唯一数值就是为了避免这种情况发生。
2.关于冲突处理:
毕竟我们面对的是普通用户,不是程序员,不会像版本管理工具一样,有合并冲突的功能,冲突我们有自己的一套简单机制。基本原则是以modify_num大的优先,以最后操作优先。
大家有没有更好的方案或者有什么想法,都可以说说
回复内容:
有很多软件在没有接入网络的情况下也可以运行,等到有网络时,会进行数据同步。这样在多个客户端间可以无缝所有。
典型代表:有道云笔记、挖财记账本
目前,我使用php开发一款软件的服务端,软件提供网页版和客户端。在离线状态下,客户端主要功能也是可以使用的。
现在采用的方案是:
用C语言写了一个php的扩展,用于生成唯一int64值
。
需要同步的数据表,都添加了一个字段modify_num,存放唯一int64值,对数据记录进行增删改时,都改变modify_num。
客户端定时执行同步操作,每次同步包含2个原子操作:先是客户端给服务端自己最大的modify_num,服务端把大于该modify_num的数据都返回给客户端,简称为update
;然后客户端处理完数据后,把客户端需要进行增删改的数据发送给服务端,服务端进行处理,简称为commit
。
补充:
1.为什么modify_num不直接使用时间戳,而是唯一数值:
我们没有直接采用时间戳是有原因的:操作时间间隔太短的时候,产生的时间戳会是相同的数值。如果不唯一会有这样的情况发生,在update时服务端返回了多条modify_num相同的数据给客户端,客户端每处理一条就修改自己的最大modify_num,万一客户端以为外因崩溃,多条数据没有处理完,下次启动时发送的最大modify_num给服务端,那么服务端返回的是大于这个值的数据,意味着那几条因为崩溃没有处理的数据都没有拿到。采用唯一数值就是为了避免这种情况发生。
2.关于冲突处理:
毕竟我们面对的是普通用户,不是程序员,不会像版本管理工具一样,有合并冲突的功能,冲突我们有自己的一套简单机制。基本原则是以modify_num大的优先,以最后操作优先。
大家有没有更好的方案或者有什么想法,都可以说说
modify_num
干脆改成last_modify
比较直观,内容就是最后一次修改时间戳,这样同步的时候带上上次同步完的时间戳,服务器把上次同步之后所有更改发回。
两边都维护了一个num,冲突解决如何处理?
如果最初版本值为0,在网页端和离线客户端编辑,
同步时,服务器端和客户端的版本值都为1;
这就是涉及到冲突问题的解决,你说客户端先把大于
1的值更新,这时候服务器的值也是1,但是内容是变化了的;
可以考虑使用类似数据库的redo日志;
服务器和客户端数据修改前都记录日志(含精确的时间戳);
在客户端联网后,先将客户端离线期间的日志发送到服务器端,
服务器端按时间点插入日志(客户端服务端日志合并),redo日志;
然后,将数据同步到客户端;
应该参考git软件内部的实现,有冲突的时候分为可以自动合并和不可以自动合并
merge对于普通用户门槛太高 让用户选择一个版本基本就够了 其实最简单的方法就是让用户接受开机自启动 不知不觉完成同步,。,
上一篇: Python制作爬虫采集小说