聊聊编程开发的数据库批量插入(sql)

这里的批量插入，主要是支持sql的大型存储数据库，本文以mysql,oracle,sqlserver,postgresql4类来说明，这大概是国内应用比较多的了。其余的应该可以按照这些去找。提到编程的话，主要是指c#.当然我不是dba，是程序员，所以说的是编程开发的手段而不是dba的手段。也希望大家留言比较。

先说说我们常用的几种方法，我就不列举代码了。网上都有，大家可以自己试试。

1.事务

  开启一个事务，将多条语句执行，然后提交。有的数据库限制sql个数1000.

2.多值插入语法

insert into table(字段) values(字段值),(字段值).

这种语法也是一种批量插入，经过数据库（驱动）的优化.

但是sqlserver是个特殊，它的语法是insert all

insert all into table (字段) values(字段值)

 insert table  (字段) values(字段值)

 insert table  (字段) values(字段值)

3.专门的批量处理类

   一般数据库都有一个批量类处理，我查看了几个例子，都是把datatable直接写入了。

一般类名称中带有bulk字样。也是优化过的

4.文件导入

很多数据库支持csv，就单独以csv格式文件为准吧。

数据库提供有自己的办法，就当前说的几类数据库都有。

 oracle是特殊的，其它几种都是命令行，可以用执行sql的方式执行。但是oracle是工具命令行，也就是专门的一个工具来支持（工具是sqlldr ），所以oracle需要完整的客户端支持，至少是包含sqlldr.exe的客户端。oracle使用编程操作时，需要用bat文件或者启动sqlldr.exe方式来操作。

   

5.参数化

   直接sql参数化，参数化时设置行数。参数值采用数组，但是每个字段的值素组长度必须一样，比如一次插入1000行，每个素组必须是1000长度。我知道oracle是支持的，其它数据库未知，所以要自己尝试，可能不通用。

只给大家提供一个思路，就不一一说明了。至于这几种的处理速度，我就没有发言的了，我没有测试。希望大家留言给我答案。

尤其是第5种方法，我长期使用oracle，其余几种没有，也不打算弄一堆数据库测试，靠大家努力吧。

基于编程开发处理，上面不管哪种方法，都是在自己的数据库访问层或者orm框架中，就不多说了。可以留言。

如果还有其它批量处理的方式，或者大家对几种方式的速度有比较和测试，或者有其它数据库其它的处理方式，请留言，我们一起讨论研究下。

附录转换处理类

数据库	驱动	名称	说明
oracle	oracle.dataaccess	oraclebulkcopy
mysql	默认	mysqlbulkloader
postgresql	默认	没有直接的类。数据库连接类中有一个方法beginbinaryimport	网上有一个扩展bulk
sqlserver	默认	sqlbulkcopy

附录文件导入

数据库	语句	驱动	说明
oracle	sqlldr dbuser/dbpass@dbservice control=users.ctl	默认
mysql	load data local infile '/var/lib/mysql/pet.txt' into table tbl_pet	默认
postgresql	copy mytable from '/myfile.csv'  with csv  header	默认
sqlserver	bulk 　　insert employee 　　from 'f:\\mypublis\\testtoinsert.txt' --location with filename 　　with 　　( 　　fieldterminator = ',', 　　rowterminator = '\n' 　　)	默认