文件操作的事务保证
2006-11-03 22:50
183 查看
对应数据库操作
断点表更新和数据提交应该处于同一个事务中,通过数据库事务来保证完整性。
文件操作
文件的解压和下载等,完成前应该放入临时目录中。完成后,从临时目录移动到工作目录,并同时删除或更名原始文件来避免重复采集。
尽管如此,还是不能保证移动成功但是更名或删除没完成前断电。
有更完整的操作
入库进程对待处理文件进行采集,重命名(yyyymmdd_sequence, 子进程tar –czf打包压缩同时删除原始文件),入库,在数据库中标识文件状态同时对在断点表进行更新,下次重启时会以该断点为参考起点进行文件重命名。(原始文件名格式也是固定的,所以可以根据文件名进行过滤采集。如此重命名方式保证后来产生的文件排序上递增的)
2.1处理进程的采集线程根据数据库中的文件状态到文件服务器上顺序采集文件到工作目录,然后更新内存中的断点。重启后删除本地文件,重新根据数据库中的文件状态进行采集。
2.2处理进程的主线程,扫描工作目录,根据内存中的断点(第一次启动时用数据库中的断点表初始化)顺序处理文件,对已处理的文件把结果更新到数据库并在同一个事务中更新采集表中的文件状态。
3. 清理进程根据采集表中的文件状态,对过期文件和已处理文件进行清理。
过程:采集到文件服务器,更新数据库->处理(内部也有采集),更新数据库->清理,删除文件和数据库记录
断点表更新和数据提交应该处于同一个事务中,通过数据库事务来保证完整性。
文件操作
文件的解压和下载等,完成前应该放入临时目录中。完成后,从临时目录移动到工作目录,并同时删除或更名原始文件来避免重复采集。
尽管如此,还是不能保证移动成功但是更名或删除没完成前断电。
有更完整的操作
入库进程对待处理文件进行采集,重命名(yyyymmdd_sequence, 子进程tar –czf打包压缩同时删除原始文件),入库,在数据库中标识文件状态同时对在断点表进行更新,下次重启时会以该断点为参考起点进行文件重命名。(原始文件名格式也是固定的,所以可以根据文件名进行过滤采集。如此重命名方式保证后来产生的文件排序上递增的)
2.1处理进程的采集线程根据数据库中的文件状态到文件服务器上顺序采集文件到工作目录,然后更新内存中的断点。重启后删除本地文件,重新根据数据库中的文件状态进行采集。
2.2处理进程的主线程,扫描工作目录,根据内存中的断点(第一次启动时用数据库中的断点表初始化)顺序处理文件,对已处理的文件把结果更新到数据库并在同一个事务中更新采集表中的文件状态。
3. 清理进程根据采集表中的文件状态,对过期文件和已处理文件进行清理。
过程:采集到文件服务器,更新数据库->处理(内部也有采集),更新数据库->清理,删除文件和数据库记录
相关文章推荐
- DB2 事务日志已满 增加事务日志文件;操作不记录日志
- 操作分布式文件之八:如何批量并行读写远程文件和事务补偿处理
- 分布式事务——可回滚的文件操作
- php原子操作,文件锁flock,数据库事务
- BackgroundWorker 组件用来执行诸如数据库事务、文件下载等耗时的异步操作
- 操作分布式文件之八:如何批量并行读写远程文件和事务补偿处理
- 在电子商务系统中涉及到的支付的问题,由于支付操作不能在事务中,怎么保证原子性?
- 无废话Android之android下junit测试框架配置、保存文件到手机内存、android下文件访问的权限、保存文件到SD卡、获取SD卡大小、使用SharedPreferences进行数据存储、使用Pull解析器操作XML文件、android下操作sqlite数据库和事务(2)
- SQL操作access文件出现事务回滚错误
- c# 进度条BackgroundWorker 组件用来执行诸如数据库事务、文件下载等耗时的异步操作
- JTA 五(XADisk java io Transaction 文件读写操作事务)
- 操作分布式文件之八:如何批量并行读写远程文件和事务补偿处理
- Spring整合Hibernate开发 - 使用事务管理器操作数据库 - 主配置文件
- OD工具管理(INI文件操作)
- C++ fstream文件流读写文件操作
- root用户操作文件:Operation not permitted
- java 常用文件操作
- python 文件目录操作
- 文件操作工具
- 基于WINAPI的文件操作