欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Oracle数据库更新大批量数据案例

程序员文章站 2022-05-28 20:07:16
更新大批量数据的背景: 用户需要将vip的微信标识,传给用户的erp会员档案中,已知存量数据约50w行数据,线下的微信标识数据我们开发提供了openid和erpid...

更新大批量数据的背景:

用户需要将vip的微信标识,传给用户的erp会员档案中,已知存量数据约50w行数据,线下的微信标识数据我们开发提供了openid和erpid的csv文件,erpid和线下的会员档案id对应,需要将openid也更新到会员档案里。

更新数量大致分为两大步骤

一、将我们要更新的数据源导入数据库内,需要创建临时表,将数据传入临时表
二、写游标,将临时表内的数据与需要更新的数据进行更新

1.将csv文件里面的数据导入数据库临时表中,先创建临时表

create table vip_openid
(erpid number(10),
 openid varchar(200)
)

Oracle数据库更新大批量数据案例

2.临时表创建后,将cvs文件里的数据导入表中,在这里我们选择工具>文本导入器 

Oracle数据库更新大批量数据案例

选择要导入的csv文件,注意csv文件的表字段和数据库表字段对应 

Oracle数据库更新大批量数据案例

选择文件后在界面将会预览导入的数据 

Oracle数据库更新大批量数据案例

3.点击到oracle的数据,选择导入的表,先选择用户名,用户名下的表名,然后选择表与csv文件表字段对应关系,我们选择导入,可以看到提示导入完成。

Oracle数据库更新大批量数据案例

4.接下来就是对会员表和临时表的数据关联更新,我们先使用直接update方式进行更新试验,该方法只更新5w数据,耗时12分钟左右:

Oracle数据库更新大批量数据案例

于是参考百度文档建议,写了一个游标如下

declare
 cursor cur is--声明游标cur
 select b.openid,a.id row_id
  from c_client_vip a ,vip_openid b
  where a.id=b.erpid
  order by a.id;--从a和b表中找到id对应的openid,并对游标内数组排序
 v_counter number;--声明一个number类型的变量
begin 
v_vounter:=0;--初始化变量值为0
 for row in cur loop--遍历游标
  update c_client_vip a set a.openid=row.openid where a.id=row_id;
    v_counter:=v_counter+1;--每次循环变量值+1
  if(v_counter>=1000) then
    commit;
    v_counter:=0;--每更新1000行,v_counter值为1000时候,就提交给数据库
    提交后将变量归零,继续下一个1000行更新
  end if;
 end loop;
  commit;
end;


Oracle数据库更新大批量数据案例

大概48w行数据,43秒即更新完毕。

使用以上方式注意一点,因为数据库会员表的id有索引,所以使用游标速率很快。如我们的多表关联字段没有索引,使用此方式可能效果不是很明显。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。如果你想了解更多相关内容请查看下面相关链接