多线程操作数据库--WAL模式--一写多读并行
2016-05-29 13:15
351 查看
最近项目需求,要写入比较多的数据到db中,同时又不能让用户在写的过程中停止其他查询操作,也就是需要满足写读并发。通过一阵Google,发现了WAL模式。
下面介绍WAL模式的优缺点:
优点:
1. 读和写可以完全地并发执行,不会互相阻塞(但是写之间仍然不能并发)。
2. WAL在大多数情况下,拥有更好的性能(因为无需每次写入时都要写两个文件)。
3. 磁盘I/O行为更容易被预测。
缺点:
1. 访问数据库的所有程序必须在同一主机上,且支持共享内存技术。
2. 每个数据库现在对应3个文件:.db,-wal,-shm。
3. 当写入数据达到GB级的时候,数据库性能将下降。
4. 3.7.0之前的SQLite无法识别启用了WAL机制的数据库文件。
工作原理:
在引入WAL机制之前,SQLite使用rollbackjournal机制实现原子事务。
rollback journal机制的原理是:在修改数据库文件中的数据之前,先将修改所在分页中的数据备份在另外一个地方,然后才将修改写入到数据库文件中;如果事务失败,则将备份数据拷贝回来,撤销修改;如果事务成功,则删除备份数据,提交修改。
WAL机制的原理是:修改并不直接写入到数据库文件中,而是写入到另外一个称为WAL的文件中;如果事务失败,WAL中的记录会被忽略,撤销修改;如果事务成功,它将在随后的某个时间被写回到数据库文件中,提交修改。
实际使用:
在实际开发中,因为只有一个WAL文件,所以必须保证一次只执行一次写操作,因此写操作之间不能并行执行。下面简单说一下我自己的实现方法:
分开两个线程池,分别实现读写功能;
写的线程池配置是,只有一个core,可排队;
读的线程池core为3
下面介绍WAL模式的优缺点:
优点:
1. 读和写可以完全地并发执行,不会互相阻塞(但是写之间仍然不能并发)。
2. WAL在大多数情况下,拥有更好的性能(因为无需每次写入时都要写两个文件)。
3. 磁盘I/O行为更容易被预测。
缺点:
1. 访问数据库的所有程序必须在同一主机上,且支持共享内存技术。
2. 每个数据库现在对应3个文件:.db,-wal,-shm。
3. 当写入数据达到GB级的时候,数据库性能将下降。
4. 3.7.0之前的SQLite无法识别启用了WAL机制的数据库文件。
工作原理:
在引入WAL机制之前,SQLite使用rollbackjournal机制实现原子事务。
rollback journal机制的原理是:在修改数据库文件中的数据之前,先将修改所在分页中的数据备份在另外一个地方,然后才将修改写入到数据库文件中;如果事务失败,则将备份数据拷贝回来,撤销修改;如果事务成功,则删除备份数据,提交修改。
WAL机制的原理是:修改并不直接写入到数据库文件中,而是写入到另外一个称为WAL的文件中;如果事务失败,WAL中的记录会被忽略,撤销修改;如果事务成功,它将在随后的某个时间被写回到数据库文件中,提交修改。
实际使用:
public DbHelper(Context context , boolean enableWAL) { this(context, DEFAULT_DB_NAME, null, DEFAULT_VERSION); if( enableWAL && Build.VERSION.SDK_INT >= 11){ getWritableDatabase().enableWriteAheadLogging(); } }
在实际开发中,因为只有一个WAL文件,所以必须保证一次只执行一次写操作,因此写操作之间不能并行执行。下面简单说一下我自己的实现方法:
分开两个线程池,分别实现读写功能;
写的线程池配置是,只有一个core,可排队;
读的线程池core为3
相关文章推荐
- Android之获取手机上的图片和视频缩略图thumbnails
- Python3写爬虫(四)多线程实现数据爬取
- 数据库链接字符串查询网站
- DB2实例管理
- DB2实例管理
- 保障MySQL数据安全的14个最佳方法
- mysql问答汇集
- 第三章 数据库备份和还原
- 创建一个空的IBM DB2 ECO数据库的方法
- Access 2000 数据库 80 万记录通用快速分页类
- 开通一个数据库失败的原因的和解决办法
- 一个简单的asp数据库操作类
- CentOS下DB2数据库安装过程详解
- C#实现多线程的同步方法实例分析
- EasyASP v1.5发布(包含数据库操作类,原clsDbCtrl.asp)第1/2页
- sql2008 还原数据库解决方案
- Oracle 数据库自动存储管理-安装配置
- Oracle数据库执行脚本常用命令小结
- Oracle 数据库 临时数据的处理方法