海量文本数据保存到数据库思路
2016-03-21 15:21
267 查看
最近在工作中处理大量的文本数据,并将其存入MySQL数据中。由于数据量比较大,故使用多线程处理文本中的数据。整个项目的实现大致是这样:
通过前端网页上传文本文件;
后台处理网页上传的文本文件,将相应的数据存储到数据库中;
后台数据全部处理完成后,将整个后台处理花费的时间传给前端,并显示。
在开发中,使用的技术以及一些问题。
使用SpringMVC做项目的整体架构;
后台处理数据使用多线程编程,使用了线程池ExecutorService,最终对时间使用了awitTermination方法;
使用ORM框架Hibernate,将数据持续化到数据库中;
前后台数据传输采用Json,整体采用RESTFUL设计风格。
通过前端网页上传文本文件;
后台处理网页上传的文本文件,将相应的数据存储到数据库中;
后台数据全部处理完成后,将整个后台处理花费的时间传给前端,并显示。
在开发中,使用的技术以及一些问题。
使用SpringMVC做项目的整体架构;
后台处理数据使用多线程编程,使用了线程池ExecutorService,最终对时间使用了awitTermination方法;
使用ORM框架Hibernate,将数据持续化到数据库中;
前后台数据传输采用Json,整体采用RESTFUL设计风格。
相关文章推荐
- SQL索引优化
- mysql 定时任务使用说明
- Oracle数据库中的空值
- SQL 存储过程
- 数据库系统与文件系统的区别
- 数据库优化
- sqlite插入数据效率提升解决方案
- 在谈Redis应用场景
- mysql explain的用法(使用explain优化查询语句)
- Redis计数在新浪微博的应用
- MongoDB_WINDOW7_安装步骤
- 微博关系服务与Redis
- 将所有对象存到数据库中
- oracle 创建、删除唯一性约束
- ubuntu14.04安装Oracle_linux_x64_11gR2
- Entity Freamwork 6连接PostgreSql数据库
- percona server的特点介绍
- 灵活运用 SQL SERVER FOR XML PATH
- 解决 mysql error: Failed dependencies: 错误
- 自己封装的C#操作redis公共类