mysql批量插入语句执行失败的话,是部分失败还是全部失败
阅读目录
一、前言
下面简单介绍下背景,如果看着觉得绕,直接跳到第二章。
项目开发中,正好遇到这个问题。
将一批从外部第三方接口获取到的数据存储到本地mysql数据库,假设接口返回的数据类型为A,经过A到B的转换规则转换后,
要插入数据库的数据类型为B。那么在A获取到1000条记录,转换为1000条B记录,用mybatis的批量插入语句。
要保证批量插入是否成功的话,就要考虑如果因为部分记录已经存在于数据库的话,批量插入语句是否会全部失败还是部分失败。(比如有唯一索引,那么是违反了唯一约束的失败呢,还是整个批量语句全失败)。
如果是全失败,就可以在1000条A转换为B的时候,先查询记录是否存在,存在则不进行转换,因为转换了的话,最后会导致批量语句失败。
如果是部分失败,就可以全转换,不用考虑本地数据库唯一索引的问题。
二、测试
表结构,主要包括自增主键、日期(日期上会建立唯一索引,保证同一天的只会有一条记录),其他字段都不重要:
CREATE TABLE `biz_riskfree_interest_rate` (
`id` bigint(32) NOT NULL AUTO_INCREMENT,
`rate_date` char(10) COLLATE utf8_unicode_ci DEFAULT NULL,
`period_span` char(3) COLLATE utf8_unicode_ci DEFAULT NULL,
`rate` double DEFAULT NULL,
PRIMARY KEY (`id`),
UNIQUE KEY `uniq` (`rate_date`)
) ENGINE=InnoDB AUTO_INCREMENT=11 DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci
索引如下:(有一个唯一索引,字段为rate_date)
已经存在的数据如下:
好了,开始测试:
1.如果批量语句为插入2017年7月5号和207年7月6号,预期会成功,因为原始数据里只存了到2017年7月4日的数据,不会违反唯一索引:
insert into `biz_riskfree_interest_rate` (`rate_date`, `period_span`, `rate`) values('20170705','1y','3.4596'),('20170706','1y','3.4596');
可以看到,成功了,没问题,数据已经插入进去了。
2.如果批量语句为插入2017年7月6号和2017年7月7号:(预期6号会失败,因为上面已经插入了6号的数据,唯一性检查会失败。但是7号应该成功,所以结果会不会是6号失败,7号成功呢?)
INSERT INTO `biz_riskfree_interest_rate` (`rate_date`, `period_span`, `rate`) VALUES('20170706','1y','3.4596'),('20170707','1y','3.4596');
结果是:都失败了,因为并没有查出来“'20170707'”这天的数据。
3.上面失败了,和顺序有没有关系呢,如果7号放在前面,6号放后面执行呢?
INSERT INTO `biz_riskfree_interest_rate` (`rate_date`, `period_span`, `rate`) VALUES('20170707','1y','3.4596'),('20170706','1y','3.4596');
依然失败了。
结论:批量语句,只要有一个失败,就会全部失败。开发程序的时候要注意这点。
三、结论
批量语句,只要有一个失败,就会全部失败。总之,是原子的,大家可以自己试试。
值得注意的是,以上都是在没有手动开启事务的情况下操作的,但这依然是一个原子操作。 大家也可以手动开启事务试试(先执行begin语句,再执行上述命令即可)