欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

上传大量数据时的利器--sqlldr(SQL Loader)用法

程序员文章站 2024-02-10 13:08:46
...

       近日,需要上传的数据比较多,plsql不好使,不是卡就是慢。于是琢磨着有没有更加有效的方法上传呢?结果发现还真有比plsql快得多的工具,还是oracle自带的,竟然没发现,惭愧。

        那就是SQL Loader,关于SQL Loader用法,也很简单,先上步骤:

1.安装客户端,这个自己按照教程来做就好,建议官网完整版,网上的极速版或者绿色版可能会没有sqlldr命令。

附官网链接:http://www.oracle.com/technetwork/database/database-technologies/instant-client/overview/index.html

官方文档:https://docs.oracle.com/cd/B19306_01/server.102/b14215/part_ldr.htm

2.编辑控制文件

其实主要还是控制文件,只要控制文件没问题,上传什么的自然不在话下。下面一起了解下控制文件的语句

这是我写的一个控制文件

options (skip = 1,rows = 256)
LOAD DATA 
INFILE 'D:\test\test_data.csv' 
 
replace
INTO TABLE TABLE_NAME
fields terminated by ','
Optionally enclosed by '"'
trailing nullcols
  (
   LON_A, 
   LON_B, 
   LON_C,
   LON_D
   )

其中第一行skip=1表示忽略第一行数据,从第二行开始加载,rows=256则是每秒加载行数

INFILE 后指定加载文件位置,如我要上传的这个是csv文件

replace表示要替换掉原来表中的数据,加载即将上传的。如果你需要追加数据,则使用append

INTO TABLE 后是要插入数据的表,即要把数据放到哪张表里

接下来两行是对csv文件的处理,因为csv文件是以逗号分隔的,所以有必要加上Fields terminated by ","

而Optionally enclosed by '"'则表示每个字段都用'"'分隔,这样符合oracle插入语法

trailing nullcols  表示在字段没有对应值的时候允许为空(我一开始因为没有写这句,结果一直没有上传上去,也不报错。。。)

下面括号内就是列名称了,自己对应好就是了,这样一个简单的ctl文件就编辑好了。

接下来执行sqlldr命令。

3.执行命令

通常命令格式为sqlldr dbuser/[email protected] control=users.ctl

即:sqlldr 用户名/密码@地址 control=控制文件位置

多说一句,如果是远程上传,记得在地址上加上ip地址。

 

写在最后:个人用的是精简版客户端,仅包含sqlplus、sqlldr、exp、imp等几个简单常用的命令,所以体量非常小,亲试可用,而且现在正在使用,环境变量配置方法和客户端一样,就不赘述了。

附下载地址:https://download.csdn.net/download/qq_38869288/10623707