iq装载数据文件的数据到数据库中
2012-02-28 15:20
218 查看
方法一:
装载数据文件的数据到数据库中:
LOAD TABLE TblClientInfo(gpNum,gpName,sgpNum,sgpName,segment,IOITier,clientType)
from '/opt/geriftp/pub/ClientInfo.csv'
QUOTES OFF ESCAPES OFF DELIMITED BY '|' WITH CHECKPOINT ON
commit;
方法二:
从Sybase ASE中将数据load到IQ中
1、创建ASE->IQ的链接,也就是在IQ的数据库服务器中创建访问ASE服务器的链接
名叫“LOVCAL_SRV”
2、在IQ中执行语句,从ASE中将数据load到IQ
insert into CM_ORG location 'LOVCAL_SRV.lovcaldb' { SELECT * from CM_ORG }
CREATE EXTERNLOGIN avita
TO GERI_DS
REMOTE LOGIN geridbo
IDENTIFIED BY geridbo
附:IQ装载数据的速度:loadtable>iqbcp>bcp
ASE中直接访问IQ中的表,一般通过建立代理表的方式实现,但是,由于IQ中的表一般数据量比较大,因此在使用时一定要注意,不要轻易的进行表链接操作,特别是两个以上的IQ代理表进行链接操作,性能会急剧下降!
一般采用在ASE中建立临时表的方法,将IQ中的数据导入到ASE临时表中,如果数据量将大的话,可以在临时表上建立索引。然后再跟ASE的表进行链接操作,否则,虽然计划分析器中看到能使用索引,实际执行时,也不会使用索引了,具体原因,有待进一步研究……
当然,数据量达到一定程度时,肯定就只能在ASE中建立固定表,采用BCP等方式进行数据导入了。
ASE中建立IQ的代理表,虽然IQ中的表含有索引,当直接使用ASE中的表与代理表的连接查询时,分析引擎似乎不能分析代理表的索引以便优化与 ASE表的连接性能?
查询计划显示,....... Executing Partial Query Remotely
当ASE的表与一个代理表连接时,尚无太大变化,但是同时连接两个代理表时,发觉性能迅速下降,其中的原因是什么?
查询语句如下:
====================
select B.MXFACCOD,A.FACCOD,A.CLNBJG,A.ZLNBJG,JC.DAT AS JCDAT,MX.DAT AS MXDAT
from LOVCAL_TABLE1 A INNER JOIN
LOVCAL_TABLE2 B ON A.FACCOD=B.BASFACCOD AND A.PARMID='0000011819'
INNER JOIN IQ_LOVCAL_TABLE3 JC ON
JC.FACCOD=B.BASFACCOD AND JC.ORG='1599990009' AND JC.DTE='20080430' AND JC.CCY='01'
INNER JOIN IQ_LOVCAL_TABLE3 MX ON
MX.FACCOD=B.MXFACCOD AND MX.ORG='1599990009' AND MX.DTE='20080430' AND MX.CCY='01'
====================
上面语句,只连接一个代理表IQ_LOVCAL_TABLE3 时,执行时间为2s,但是连接两个代理表IQ_LOVCAL_TABLE3 时,很长时间也不能返回。
当然IQ_LOVCAL_TABLE3 数据量比较大,难道索引丢失,改为全表稍描?
IQ库的数据组织方式有关?
===>不是,直接两个代理表连接时没问题的,就是与LOVCAL_TABLE2 的两个连接出问题
更改为如下语句,耗时5s:
======================================
select B.MXFACCOD,A.FACCOD,A.CLNBJG,A.ZLNBJG,JC.DAT AS JCDAT,MX.DAT AS MXDAT
from LOVCAL_TABLE1 A INNER JOIN
LOVCAL_TABLE2 B ON A.FACCOD=B.BASFACCOD AND A.PARMID='0000011819'
INNER JOIN IQ_LOVCAL_TABLE3 JC ON
JC.FACCOD=A.FACCOD AND JC.ORG='1599990009' AND JC.DTE='20080430' AND JC.CCY='01'
INNER JOIN IQ_LOVCAL_TABLE3 MX ON
MX.FACCOD=B.MXFACCOD AND MX.ORG='1599990009' AND MX.DTE='20080430' AND MX.CCY='01'
======================================
更改为临时表方式,耗时3s:
======================================
select B.MXFACCOD,A.FACCOD,A.CLNBJG,A.ZLNBJG,JC.DAT AS JCDAT--,MX.DAT AS MXDAT
into #t1
from LOVCAL_TABLE1 A INNER JOIN
LOVCAL_TABLE2 B ON A.FACCOD=B.BASFACCOD AND A.PARMID='0000011819'
INNER JOIN IQ_LOVCAL_TABLE3 JC ON
JC.FACCOD=A.FACCOD AND JC.ORG='1599990009' AND JC.DTE='20080430' AND JC.CCY='01'
select B.MXFACCOD,A.FACCOD,A.CLNBJG,A.ZLNBJG,MX.DAT AS MXDAT
into #t2
from LOVCAL_TABLE1 A INNER JOIN
LOVCAL_TABLE2 B ON A.FACCOD=B.BASFACCOD AND A.PARMID='0000011819'
INNER JOIN IQ_LOVCAL_TABLE3 MX ON
MX.FACCOD=B.MXFACCOD AND MX.ORG='1599990009' AND MX.DTE='20080430' AND MX.CCY='01'
select #t1.*,#t2.MXDAT from #t1 inner join #t2
on #t1.MXFACCOD=#t2.MXFACCOD and #t1.FACCOD=#t2.FACCOD
drop table #t1
drop table #t2
装载数据文件的数据到数据库中:
LOAD TABLE TblClientInfo(gpNum,gpName,sgpNum,sgpName,segment,IOITier,clientType)
from '/opt/geriftp/pub/ClientInfo.csv'
QUOTES OFF ESCAPES OFF DELIMITED BY '|' WITH CHECKPOINT ON
commit;
方法二:
从Sybase ASE中将数据load到IQ中
1、创建ASE->IQ的链接,也就是在IQ的数据库服务器中创建访问ASE服务器的链接
名叫“LOVCAL_SRV”
2、在IQ中执行语句,从ASE中将数据load到IQ
insert into CM_ORG location 'LOVCAL_SRV.lovcaldb' { SELECT * from CM_ORG }
CREATE EXTERNLOGIN avita
TO GERI_DS
REMOTE LOGIN geridbo
IDENTIFIED BY geridbo
附:IQ装载数据的速度:loadtable>iqbcp>bcp
ASE中直接访问IQ中的表,一般通过建立代理表的方式实现,但是,由于IQ中的表一般数据量比较大,因此在使用时一定要注意,不要轻易的进行表链接操作,特别是两个以上的IQ代理表进行链接操作,性能会急剧下降!
一般采用在ASE中建立临时表的方法,将IQ中的数据导入到ASE临时表中,如果数据量将大的话,可以在临时表上建立索引。然后再跟ASE的表进行链接操作,否则,虽然计划分析器中看到能使用索引,实际执行时,也不会使用索引了,具体原因,有待进一步研究……
当然,数据量达到一定程度时,肯定就只能在ASE中建立固定表,采用BCP等方式进行数据导入了。
ASE中建立IQ的代理表,虽然IQ中的表含有索引,当直接使用ASE中的表与代理表的连接查询时,分析引擎似乎不能分析代理表的索引以便优化与 ASE表的连接性能?
查询计划显示,....... Executing Partial Query Remotely
当ASE的表与一个代理表连接时,尚无太大变化,但是同时连接两个代理表时,发觉性能迅速下降,其中的原因是什么?
查询语句如下:
====================
select B.MXFACCOD,A.FACCOD,A.CLNBJG,A.ZLNBJG,JC.DAT AS JCDAT,MX.DAT AS MXDAT
from LOVCAL_TABLE1 A INNER JOIN
LOVCAL_TABLE2 B ON A.FACCOD=B.BASFACCOD AND A.PARMID='0000011819'
INNER JOIN IQ_LOVCAL_TABLE3 JC ON
JC.FACCOD=B.BASFACCOD AND JC.ORG='1599990009' AND JC.DTE='20080430' AND JC.CCY='01'
INNER JOIN IQ_LOVCAL_TABLE3 MX ON
MX.FACCOD=B.MXFACCOD AND MX.ORG='1599990009' AND MX.DTE='20080430' AND MX.CCY='01'
====================
上面语句,只连接一个代理表IQ_LOVCAL_TABLE3 时,执行时间为2s,但是连接两个代理表IQ_LOVCAL_TABLE3 时,很长时间也不能返回。
当然IQ_LOVCAL_TABLE3 数据量比较大,难道索引丢失,改为全表稍描?
IQ库的数据组织方式有关?
===>不是,直接两个代理表连接时没问题的,就是与LOVCAL_TABLE2 的两个连接出问题
更改为如下语句,耗时5s:
======================================
select B.MXFACCOD,A.FACCOD,A.CLNBJG,A.ZLNBJG,JC.DAT AS JCDAT,MX.DAT AS MXDAT
from LOVCAL_TABLE1 A INNER JOIN
LOVCAL_TABLE2 B ON A.FACCOD=B.BASFACCOD AND A.PARMID='0000011819'
INNER JOIN IQ_LOVCAL_TABLE3 JC ON
JC.FACCOD=A.FACCOD AND JC.ORG='1599990009' AND JC.DTE='20080430' AND JC.CCY='01'
INNER JOIN IQ_LOVCAL_TABLE3 MX ON
MX.FACCOD=B.MXFACCOD AND MX.ORG='1599990009' AND MX.DTE='20080430' AND MX.CCY='01'
======================================
更改为临时表方式,耗时3s:
======================================
select B.MXFACCOD,A.FACCOD,A.CLNBJG,A.ZLNBJG,JC.DAT AS JCDAT--,MX.DAT AS MXDAT
into #t1
from LOVCAL_TABLE1 A INNER JOIN
LOVCAL_TABLE2 B ON A.FACCOD=B.BASFACCOD AND A.PARMID='0000011819'
INNER JOIN IQ_LOVCAL_TABLE3 JC ON
JC.FACCOD=A.FACCOD AND JC.ORG='1599990009' AND JC.DTE='20080430' AND JC.CCY='01'
select B.MXFACCOD,A.FACCOD,A.CLNBJG,A.ZLNBJG,MX.DAT AS MXDAT
into #t2
from LOVCAL_TABLE1 A INNER JOIN
LOVCAL_TABLE2 B ON A.FACCOD=B.BASFACCOD AND A.PARMID='0000011819'
INNER JOIN IQ_LOVCAL_TABLE3 MX ON
MX.FACCOD=B.MXFACCOD AND MX.ORG='1599990009' AND MX.DTE='20080430' AND MX.CCY='01'
select #t1.*,#t2.MXDAT from #t1 inner join #t2
on #t1.MXFACCOD=#t2.MXFACCOD and #t1.FACCOD=#t2.FACCOD
drop table #t1
drop table #t2
相关文章推荐
- (转载)IQ 16.0 SP02起支持从压缩文件直接装载数据到表中
- 如何将.SQL文件的数据导入到Mysql的数据库中
- 无ldf文件情况下恢复数据库数据纪实
- 将数据库中的二进制数据导出为文件
- 电脑上打开iTunes产生数据库文件和影像数据的一些问题
- 文档共享:罗斯文2007 (Northwind 2007),数据库文件,中文版本、英文版、英文表结构中文数据版
- Php从数据库里读出数据,并生成xml文件
- C#后台制作之数据库(二、如何清除显示以及将数据库数据导出到excel表格文件中)
- 把数据库文件写入csv文件和从csv文件中导入数据到数据库中
- 使用JDBC获取数据库数据,并生成json格式文件(省市区三级联动)
- 从FTP下载文件后把数据放在数据库里.
- android 将已经有数据的数据库文件导入项目
- 将上传文件以二进制形式存入数据库中,并下载数据库中的二进制数据生成对应的文件
- [数据库]改变mysql的数据文件存放位置
- 存储过程将.txt.xls文件数据导入数据库表格
- 数据库通过文件导入数据
- 【表空间支持的最大数据文件大小的算法】【数据库限制】【数据文件文件头保留数据块数】
- 如何拯救你,我的数据-单个mdf文件恢复数据库小记
- php fputcsv() 函数csv数据读写数据库文件代码
- 将txt文件中的数据批量插入到数据库中SqlBulkCopy