使用程序大数据量导入到数据库的思路
2008-12-20 20:04
260 查看
提问:
百万级的数据在txt文件中导入到oracl 9i 中用b/s做 还要做进度条,这个程序我已经做一半了,先把文件上传到服务器上,在批量插入的时候还是很慢,谁有好的办法,或者有原代码的也行,谢谢
答复:
我只提示一下,我们还有多线程啊!
你应该考虑一下
生产者:文本文件,建议一个线程
消费者:从生产者读取一行数据,然后解析,然后插入数据库, 建议10-20个线程
提交要使用批量提交,BatchUpdate操作,不要每一次insert就提交一次。
100万数据,普通的破机器,应该在2分钟内完成。
04年,1000万的数据,我用了25分钟,普通的PC机,2G的内存,P4 3.0G
百万级的数据在txt文件中导入到oracl 9i 中用b/s做 还要做进度条,这个程序我已经做一半了,先把文件上传到服务器上,在批量插入的时候还是很慢,谁有好的办法,或者有原代码的也行,谢谢
答复:
我只提示一下,我们还有多线程啊!
你应该考虑一下
生产者:文本文件,建议一个线程
消费者:从生产者读取一行数据,然后解析,然后插入数据库, 建议10-20个线程
提交要使用批量提交,BatchUpdate操作,不要每一次insert就提交一次。
100万数据,普通的破机器,应该在2分钟内完成。
04年,1000万的数据,我用了25分钟,普通的PC机,2G的内存,P4 3.0G
相关文章推荐
- php将Excel数据导入到数据库或程序中使用
- 数据库的使用过程中由于程序方面的问题有时候会碰到重复数据,重复数据导致了数据库部分设置不能正确设置……
- MySQL使用mysqldump命令导入数据库时包含存储过程
- vs2005下使用sql 2000或其他数据库作为membership的默认提供程序
- 使用ADO封装类的数据库程序开发实例(下)
- 源码-Oracle数据库管理-第十二章-使用PL/SQL创建Oracle程序-Part 4(PL/SQL语言概览)
- 飞信虚拟机运行.net程序 使用Access的mdb数据库
- 源码-Oracle数据库管理-第十二章-使用PL/SQL创建Oracle程序-Part 5(PL/SQL语言概览)
- 使用PHPEXCEL导入数据到数据库
- 使用peewee将数据库从mysql导入mongodb
- Oracle导入程序Imp的使用详解
- mysqldump导入导出数据库总结;MySQLDump在使用之前一定要想到的事情
- 使用pl/sql 工具导入dmp数据库文件
- 使用sqluldr2实现将Oracle数据无落地快速导入Greenplum数据库
- oracle中,使用sqlldr将文件中的数据导入到数据库
- PHP程序,将csv转成sql文件并导入数据库
- 使用plsql将oracle数据库中的数据库结构和数据导出与导入
- 大数据量数据库转换程序写后感……
- 使用FSO把文本信息导入数据库
- 要将一个数据库的所有表格使用批通信程序取出(BCP OUT),有何较快的方法?