欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

javascript - 分多次提交数据到接口,如何保证数据的完整性和缓解插入压力?

程序员文章站 2022-05-09 14:02:38
...
使用ajax按日期采集文章数据,每天的文章数量不一定。少的几篇,多的几千篇或者上万。
一次提交是不能将一天的数据一次性提交到服务端的。
1、假设,提交1000篇文章,分成10次提交,每次100篇(约80k),如何保证最终服务端将这1000文章保存到了数据库(不能重复)?
2、如果同一时间有多个客户端提交数据,如何缓解数据库的插入压力呢?

回复内容:

使用ajax按日期采集文章数据,每天的文章数量不一定。少的几篇,多的几千篇或者上万。
一次提交是不能将一天的数据一次性提交到服务端的。
1、假设,提交1000篇文章,分成10次提交,每次100篇(约80k),如何保证最终服务端将这1000文章保存到了数据库(不能重复)?
2、如果同一时间有多个客户端提交数据,如何缓解数据库的插入压力呢?

可以先给所有的文章ID 然后服务器通过这批文章ID去核对 没那么严谨可以只给需要更新的总数 然后服务器更新完验证是否总的已经更新完了

相关标签: javascript php