大批量导入导出数据的一点体会。

今天我测试了下批量导入导出数据。



首先，我用spool从A数据库中导出数据到一个文本文件，但是发现速度有些慢。因为表中数据有120多万条。后来就用pl/sql里面的export query将数据导出到csv文件，这样速度是快。可是这样导出的文件，用sqlldr导入到新库中去的时候，老是报错。而我查了数据，数据是没有问题的。最后，我用toad里面的"Save Grid Contents"，导出文件格式为txt，这个时候，数据才没有问题。可以顺利的导入到新库中去。只是导入速度上还不是特别满意，但是还凑合着用了。估计是我机器性能不是太好的原因。



Save Grid Contents的按钮如下：







示例：

1，exp_customer.sql。 查询数据。这个用过，但是速度不行。还不如用toad导出数据为txt。

set echo off --是否显示执行的命令内容

set feedback off --是否显示 * rows selected

set heading off --是否显示字段的名称

set verify off --是否显示替代变量被替代前后的语句。fil

set trimspool off --去字段空格

set pagesize 50000 --页面大小

set linesize 50 --linesize设定尽量根据需要来设定，大了生成的文件也大

define fil= 'E:/1120/customer_data.txt'

spool &fil

select customerid || '@@' || customername || '@@' || sex || '@@' ||

customertype || '@@' || papertype || '@@' || paperno || '@@' ||

customerclass || '@@' || industry || '@@' || status || '@@' ||

postlevel || '@@' || operatorcode || '@@' ||

to_char(createtime, 'yyyy-mm-dd hh24:mi:ss') || '@@' || remark || '@@' ||

busipassword || '@@' || customerprops || '@@' ||

to_char(statusupdatetime, 'yyyy-mm-dd hh24:mi:ss') || '@@' ||

passwdlevel

from t_customerinfo ci;

spool off

2，customer.ctl。控制文件。为sqlldr所用。

OPTIONS (ROWS=10000)

LOAD DATA

INFILE 'cust_20091120.txt'

BADFILE 'customer.bad'

replace

INTO TABLE t_customerinfo

FIELDS TERMINATED BY "@@"

(customerid,customername,sex,customertype,papertype,paperno,customerclass,industry,status,postlevel,operatorcode,createtime"TO_DATE(:createtime,'yyyy-mm-dd hh24:mi:ss')",remark,busipassword,customerprops,statusupdatetime"TO_DATE(:statusupdatetime,'yyyy-mm-dd hh24:mi:ss')",passwdlevel)

3，customerimp.cmd。批处理文件，执行导入。

sqlldr lzf/lzf@testdb control=customer.ctl





最后，需要提醒的是，在导入之前，表上面最好不要有主键、索引之类的，因为会非常影响速度。

我刚开始没有删除主键、索引，所以速度很慢，删除这些东西后，导入进去120多万条数据，只需要1分多钟。

等到数据全部导入之后，在在表上建主键、索引。
我测试的结果是，120w条数据，建立主键所花费的时间是17秒。

索引则更快些。