您的位置:首页 > 大数据

使用程序大数据量导入到数据库的思路

2008-12-20 20:04 260 查看
提问:
百万级的数据在txt文件中导入到oracl 9i 中用b/s做 还要做进度条,这个程序我已经做一半了,先把文件上传到服务器上,在批量插入的时候还是很慢,谁有好的办法,或者有原代码的也行,谢谢

答复:
我只提示一下,我们还有多线程啊!

你应该考虑一下

生产者:文本文件,建议一个线程

消费者:从生产者读取一行数据,然后解析,然后插入数据库, 建议10-20个线程

提交要使用批量提交,BatchUpdate操作,不要每一次insert就提交一次。

100万数据,普通的破机器,应该在2分钟内完成。
04年,1000万的数据,我用了25分钟,普通的PC机,2G的内存,P4 3.0G
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: