Oracle数据库纯数据的导出与导入

　　这里说的是数据库的表中的纯数据的导出和导入，并不是整个数据库的备份。生成的不是dmp文件，而是dat文件。网上有很多资料介绍用exp和imp来生成dmp文件进行数据库的备份，dmp文件不仅包含表的数据，还包含数据库的信息、建表、索引等信息。dat文件纯粹只是数据库表中的数据的文本文件，用于数据的备份和迁移。

　　至于用exp和imp的方式能不能实现这里所说的纯数据的备份，没有尝试过，下面把我用过的方法写下来。

1 数据迁移

所谓数据迁移就是把表的数据从一个服务器的数据库中导出来，再导入到另一个服务器的数据库中。

从一个数据库中导出数据的脚本：

#!/bin/bash
if [ $# -ne 2 ]
then
echo "usage:unloadtable tablename 日期"
exit 0
fi

#访问的数据库
dbconn="用户名/密码@服务器IP地址/数据库名"
echo $dbconn

##产生select语句
echo "set heading off   " >/tmp/$1.sel
echo "set pagesize 0" >>/tmp/$1.sel
echo "set linesize 800  " >>/tmp/$1.sel
echo "set feedback off  " >>/tmp/$1.sel
echo "set tab off       " >>/tmp/$1.sel
echo "set num 20        " >>/tmp/$1.sel
echo "select PAY_TYPE_ID||'|'||PAY_TYPE_NAME||'|'||API_CODE||'|'||PAY_CENTER_ID||'|'||DATA_SOURCE||'|'||REMARK||'|'||CREATE_USER||'|'||CREATE_EMP||'|'||to_char(CREATE_TIME,'yyyymmddhh24miss')||'|'||to_char(UPDATE_TIME,'yyyymmddhh24miss')||'|' from 数据库某用户.$1 ;" >>/tmp/$1.sel
#上面这一行需根据自己要导的表来写select语句

##生成dat文件
sqlplus -s $dbconn < /tmp/$1.sel >$1_tmp.dat
awk '{print $0}' $1_tmp.dat >/home/xxx/xxx1/file/BiaoShuJu/$2/$1.dat
rm -f $1_tmp.dat
#exit 0

导入数据到另一个数据库的脚本：

#!/bin/bash
if [ $# -ne 2 ]
then
echo "usage:loadtable tablename 日期"
exit 0
fi

CMD=`dbget onl | awk '{print $2}'`
echo $CMD

##产生ctl文件
echo "load data" >/tmp/$1.ctl
echo "infile *" >>/tmp/$1.ctl
echo "into table $1" >>/tmp/$1.ctl
echo "fields terminated by '|'" >>/tmp/$1.ctl
echo " TRAILING NULLCOLS " >>/tmp/$1.ctl
echo "(PAY_TYPE_ID,PAY_TYPE_NAME,API_CODE,PAY_CENTER_ID,DATA_SOURCE,REMARK,CREATE_USER,CREATE_EMP,CREATE_TIME,UPDATE_TIME)" >>/tmp/$1.ctl

##开始导入数据
sqlldr $CMD data=/home/xxx/xxx1/file/BiaoShuJu/$2/$1.dat control=/tmp/$1.ctl log=/tmp/$1.log
#exit 0

执行总脚本：

#/bin/ksh

#获取跑批时间
a=`dbget onl | awk '{print $2}'`
stlm_date=`echo "select prev_stlm_dt from tbl_bat_cut_ctl;"|sqlplus -s $a |xargs|awk '{print $3}'`
if [ $? != 0 ]
then
echo "处理失败！\n"
exit
fi
echo $stlm_date

mkdir -p /home/xxx/xxx1/file/BiaoShuJu/$stlm_date

#导出数据
echo "正在导出数据..."
. ./DaoChu/TRA_PAY_TYPE                     TRA_PAY_TYPE                    $stlm_date

#导入数据
echo "正在导入数据..."
. ./DaoRu/TRA_PAY_TYPE                     TRA_PAY_TYPE                    $stlm_date

2 导出数据库表数据为csv文件

　　csv文件是纯文本数据库文件，存储表格数据，广泛应用在程序间转移表格数据。

　　这里导出数据库中两个表的数据，获取两个dat文件，然后再拼接成一个csv文件。

#!/bin/ksh
if [ $# -ne 2 ]
then
echo "usage:unloadtable tablename 日期"
exit 0
fi

YYYY=`expr substr $2 1 4`
MM=`expr substr $2 5 2`
DD=`expr substr $2 7 2`
STARTDATE="$YYYY-$MM-$DD 00:00:00"
ENDDATE="$YYYY-$MM-$DD 23:59:59"

#访问的数据库
dbconn="用户名/密码@数据库服务器IP/数据库"
echo $dbconn

##准备工作
##产生select语句
echo "set heading off   " >/tmp/$1.sel
echo "set pagesize 0" >>/tmp/$1.sel
echo "set linesize 2048  " >>/tmp/$1.sel
echo "set feedback off  " >>/tmp/$1.sel
echo "set tab off       " >>/tmp/$1.sel
echo "set num 20        " >>/tmp/$1.sel
echo "select " >>/tmp/$1.sel
echo "'\`'||to_char(TRADE_TIME,'yyyy-mm-dd hh24:mi:ss')||',\`'||AGENTID||',\`'||',\`'||FEE_TYPE||',\`'||BANK_NO||',\`'||',\`'||',\`' ">>/tmp/$1.sel
#echo "from 数据库中某用户.$1 where TRADE_TIME between timestamp '$STARTDATE' and timestamp '$ENDDATE' and rownum = 1;" >>/tmp/$1.sel
echo "from 数据库中某用户.$1 where TRADE_TIME between timestamp '$STARTDATE' and timestamp '$ENDDATE';" >>/tmp/$1.sel

##生成dat文件
sqlplus -s $dbconn < /tmp/$1.sel >$1_tmp.dat
awk '{print $0}' $1_tmp.dat >/home/ybjt/XYBat/file/BiaoShuJu/$2/$1.dat
rm -f $1_tmp.dat
sed -i 's/^/&`success,/g' /home/xxx/xxx1/file/BiaoShuJu/$2/$1.dat
#exit 0

#!/bin/ksh
if [ $# -ne 2 ]
then
echo "usage:unloadtable tablename 日期"
exit 0
fi

YYYY=`expr substr $2 1 4`
MM=`expr substr $2 5 2`
DD=`expr substr $2 7 2`
STARTDATE="$YYYY-$MM-$DD 00:00:00"
ENDDATE="$YYYY-$MM-$DD 23:59:59"

#访问的数据库
dbconn="用户名/密码@数据库服务器IP/数据库"
echo $dbconn

##产生select语句
echo "set heading off   " >/tmp/$1.sel
echo "set pagesize 0" >>/tmp/$1.sel
echo "set linesize 2048  " >>/tmp/$1.sel
echo "set feedback off  " >>/tmp/$1.sel
echo "set tab off       " >>/tmp/$1.sel
echo "set num 20        " >>/tmp/$1.sel
echo "select " >>/tmp/$1.sel
echo "'\`'||to_char(REFUND_TIME,'yyyy-mm-dd hh24:mi:ss')||',\`'||',\`'||AGENTID||',\`'||',\`'||FEE_TYPE||',\`'||BANK_NO||',\`'||',\`'||OPERNO||',\`' ">>/tmp/$1.sel
#echo "from 数据库中某用户.$1 where REFUND_TIME between timestamp '$STARTDATE' and timestamp '$ENDDATE' and rownum = 1;" >>/tmp/$1.sel
echo "from 数据库中某用户.$1 where REFUND_TIME between timestamp '$STARTDATE' and timestamp '$ENDDATE';" >>/tmp/$1.sel

##生成dat文件
sqlplus -s $dbconn < /tmp/$1.sel >$1_tmp.dat
awk '{print $0}' $1_tmp.dat >/home/xxx/xxx1/file/BiaoShuJu/$2/$1.dat
rm -f $1_tmp.dat
sed -i 's/^/&`refund,/g'  /home/xxx/xxx1/file/BiaoShuJu/$2/$1.dat
#exit 0

执行总脚本：

#!/bin/ksh

#导出数据
if [ $# -eq 0 ]
then
#获取时间
a=`dbget onl | awk '{print $2}'`
stlm_date=`echo "select curr_stlm_dt from tbl_bat_cut_ctl;"|sqlplus -s $a |xargs|awk '{print $3}'`
if [ $? != 0 ]
then
echo "处理失败！\n"
exit
fi
echo $stlm_date
date=$stlm_date
mkdir -p /home/xxx/xxx1/file/BiaoShuJu/$date
. ./DaoChu/PAY_ORDER.sh    PAY_ORDER      $date
. ./DaoChu/PAY_REFUND.sh   PAY_REFUND     $date
elif [ $# -eq 1 ]
then
date=$1
mkdir -p /home/xxx/xxx1/file/BiaoShuJu/$date
. ./DaoChu/PAY_ORDER.sh    PAY_ORDER      $date
. ./DaoChu/PAY_REFUND.sh   PAY_REFUND     $date
else
echo "useage:[csv.sh]|[csv.sh 日期] "
fi

cat /home/xxx/xxx1/file/BiaoShuJu/$date/PAY_ORDER.dat /home/xxx/xxx1/file/BiaoShuJu/$date/PAY_REFUND.dat > /home/xxx/xxx1/file/BiaoShuJu/$date/${date}_CIB.csv

可供参考的网络资料：

1、sqlplus spool 导出文本格式数据 http://blog.csdn.net/tswisdom/article/details/9118967

2、使用sqlplus导出数据为txt

http://blog.sina.com.cn/s/blog_54eeb5d90100x3t3.html

3、使用oracle sqlldr导入文本数据的例子

http://blog.itpub.net/26015009/viewspace-718049/

4、Linux Shell常用技巧(四) awk

http://www.cnblogs.com/mchina/archive/2012/06/30/2571308.html

5、Linux Shell常用技巧(三) sed

http://www.cnblogs.com/mchina/archive/2012/06/30/2570523.html