向数据库提交大量数据，提交方式的选择
2011-07-02 14:25
204 查看
最近一个项目需要用大批量向一个数据表格中的提交数据，为了确认方案，采用了以下四种方式进行测试
1 使用BCP工具
数据量为100条到1000条，花费的时间在1s左右，当然这个时间包括组装数据的时间
数据量为5000-10000条，花费的时间均值为6秒
2. 拼装SQL语句
3. 多次Append，最后POST
4 Union All 方式
最终发现，BCP的时间花费最少，拼装的时间花费近似线性增长，多次Append，最后POST时间花费增长较慢，但是比BCP慢，Union All只适合小数据量
1 使用BCP工具
数据量为100条到1000条，花费的时间在1s左右，当然这个时间包括组装数据的时间
数据量为5000-10000条，花费的时间均值为6秒
2. 拼装SQL语句
3. 多次Append，最后POST
4 Union All 方式
最终发现，BCP的时间花费最少，拼装的时间花费近似线性增长，多次Append，最后POST时间花费增长较慢，但是比BCP慢，Union All只适合小数据量
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 在可编辑表格EditorGrid中，我选择一行已输入的数据，点击删除按钮，该行数据将被删除，然后当我点击表单提交按钮时，已经被删除的那一行数据仍然被插入数据库中
- 浅谈Web页面向后台提交数据的方式和选择
- C#中，当从数据库中查询到数据，以DataTable类型返回后，如果需要对DataTable中的数据进行筛选，可以选择下面的方式
- Web页面向后台提交数据的方式和选择
- 用@方式插入多条数据到数据库/dataAdatper多条数据一次提交
- ajax方式实现注册功能(提交数据到后台数据库完成交互)
- .netMVC:Web页面向后台提交数据的方式和选择
- Web页面向后台提交数据的方式和选择
- 在可编辑表格EditorGrid中，我选择一行已输入的数据，点击删除按钮，该行数据将被删除，然后当我点击表单提交按钮时，已经被删除的那一行数据仍然被插入数据库中
- 当读取数据，而未将处理后的数据提交会数据库时，如果数据库发上更改，将会引发LINQ异常，处理方式有：
- select未选择任何选项时提交表单，后台不会接受到该数据
- get和post方式能提交数据量大小比较
- SoapUI进行REST请求，POST方法提交到数据库的数据乱码问题
- 学生管理系统----文件和数据库(oracle)两种保存数据方式
- 关于Microsoft Access数据库错误 '80004005'，“已经被别的用户以独占方式打开，或没有查看数据的权限。”
- Form表单提交数据的两种方式
- 把数据保存到数据库附加表 `dede_addonarticle` 时出错,请把相关信息提交给DedeCms
- Http使用post方式提交数据（使用apache标准接口）
- POST提交数据方式
- Select下拉列表选择自动提交form表单数据