SQLite的多线程应用与iOS开发
2015-03-19 14:14
337 查看
对于SQLiite支持多线程的问题,我找到一片很不错的文章:
http://www.keakon.net/2011/10/25/SQLite%E5%9C%A8%E5%A4%9A%E7%BA%BF%E7%A8%8B%E7%8E%AF%E5%A2%83%E4%B8%8B%E7%9A%84%E5%BA%94%E7%94%A8 。
文章很长,需要有耐心的读一下。
1. 对于多个进程可以同时打开一个数据库,可以同时去读,但是只能有一个进程去写。所以需要在代码中添加读写锁。另外,由于fcntl()函数在NFS和FAT文件系统上面的限制,导致在NFS和FAT文件系统中多进程并发时会出现错误。 参考:http://www.sqlite.org/faq.html#q5
2. 对于threadsafe,官方文档给的解释是从3.3.1版本以后SQLite是支持多线程并发访问数据库, 但是要求SQLite设置成 SQLITE_THREADSAFE ,默认是Serialized模式(参考:http://www.sqlite.org/threadsafe.html)。
另外,一个数据库连接(Each open SQLite database is represented by a pointer to an instance of the opaque structure named "sqlite3")只能在一个线程中使用,不可多个线程共用一个数据库连接。 参考:http://www.sqlite.org/faq.html#q6
3. 关于事务, 对于每个INSERT语句都会默认生成一个事务去执行, 而一秒中执行事务的次数是有限的(几十次左右),但是单个的INSERT语句在普通的Desktop computer可以执行50,000次左右,所以,对于多个相近的INSERT我们可以显式的放进一个事务中进行处理,来提高效率。 参考:http://www.sqlite.org/faq.html#q19
很重要的两句话:
数据库只有在事务中才能被修改。 所有更改数据库的SQL命令(除SELECT以外的所有SQL命令)都会自动开启一个新的事务,并且当最后一个查询完成时自动提交。
threadsafe就是指在设置正确的前提下,多线程同时访问SQLite并不会影响数据库的完整性,而不是说每个线程对数据库所有的操作都可以保证正确执行!!!经过实际测试我才意识到这个问题。
不论是设置成SQLITE_CONFIG_SERIALIZED还是SQLITE_CONFIG_MULTITHREAD,多个线程(每个线程使用一个数据库连接)执行的时候,三个步骤(prepare_v2、step、finalize)都会出现SQLITE_BUSY(5)的错误。
虽然,不会影响数据库中的数据完整性, 但是,一旦在程序中操作失败,而我们又没有检查返回值,直接会影响程序逻辑的正确性(简单说,本意为会插入的数据并没有插进数据库)。 所以,显然不可以直接让多线程去操作数据库。
解决方法:
1.在每个线程操作数据库时,手动加锁
2.形成一个操作队列,统一去操作数据库
对于第一个方式,由于直接才有sqlite的C API,所以,如果才有加锁的话会导致临界代码过于臃肿,所以不仅行考虑。
对于第二中方式,已经有第三方的封装类(比如FMDB)来实现。但是,为保证代码的质量和灵活性,自己采用的是GCD的方式,维护一个串行的queue,然后结合Block语法来提交相应的DB操作。
主要示例代码:
[cpp] view
plaincopy
//Config Sqlite and create a database
int glOpenDataBase(NSString* dbName)
{
int ret = -1;
glDatabase = NULL;
if ((ret=sqlite3_config(SQLITE_CONFIG_SINGLETHREAD)) != SQLITE_OK) {
NSLog(@"%s:%d ERROR: config sqlite failed, error code:%d", __FUNCTION__, __LINE__, ret);
return ret;
}
NSString *dbPath = [[NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES) objectAtIndex:0] stringByAppendingPathComponent:dbName];
if ((ret=sqlite3_open([dbPath UTF8String], &glDatabase)) != SQLITE_OK) {
NSLog(@"%s:%d ERROR: open database failed, error code:%d", __FUNCTION__, __LINE__, ret);
return ret;
}
return ret;
}
[cpp] view
plaincopy
//Create a serial queue
glOpreateDBQueue = dispatch_queue_create(OPERATE_DB_QUEUE, DISPATCH_QUEUE_SERIAL);
[cpp] view
plaincopy
//Call database operate function in queue
dispatch_async(glOpreateDBQueue, ^(void){
[self newRaceStoreDB];
});
如果需要影响前端的UI,可以编写类似于下面的语法:
[cpp] view
plaincopy
//Affect the UI using dispatch_get_main_queue()
dispatch_async(glOpreateDBQueue, ^(void){
dispatch_async(dispatch_get_main_queue(), ^(void){
self.title = [NSString stringWithFormat:@"第%u局-第%u口", glCurrentDimianIndex, glCurrentRoundIndex];
});
});
如果我们需要循环的插入多条记录的话,一定要开启事务,因为,每个INSERT语句默认都会创建一个事务,在1秒中之内最多可以执行几十次事务,但是,可以执行最多5000次左右的INSERT插入操作。
[cpp] view
plaincopy
char *errorMsg = NULL;
if (sqlite3_exec(glDatabase, "BEGIN TRANSACTION", NULL, NULL, &errorMsg) != SQLITE_OK) {
NSLog(@"%s:%d ERROR: when begine transaction error:%s", __func__, __LINE__, errorMsg);
}
//End a transaction
if (sqlite3_exec(glDatabase, "COMMIT TRANSACTION", NULL, NULL, &errorMsg) != SQLITE_OK) {
NSLog(@"%s:%d ERROR:%s", __func__, __LINE__, errorMsg);
}
要保证写入数据的完整性,必须保证所有访问sqlite的操作都在我们创建的串行队列里面进行。
http://www.keakon.net/2011/10/25/SQLite%E5%9C%A8%E5%A4%9A%E7%BA%BF%E7%A8%8B%E7%8E%AF%E5%A2%83%E4%B8%8B%E7%9A%84%E5%BA%94%E7%94%A8 。
文章很长,需要有耐心的读一下。
1. 对于多个进程可以同时打开一个数据库,可以同时去读,但是只能有一个进程去写。所以需要在代码中添加读写锁。另外,由于fcntl()函数在NFS和FAT文件系统上面的限制,导致在NFS和FAT文件系统中多进程并发时会出现错误。 参考:http://www.sqlite.org/faq.html#q5
2. 对于threadsafe,官方文档给的解释是从3.3.1版本以后SQLite是支持多线程并发访问数据库, 但是要求SQLite设置成 SQLITE_THREADSAFE ,默认是Serialized模式(参考:http://www.sqlite.org/threadsafe.html)。
另外,一个数据库连接(Each open SQLite database is represented by a pointer to an instance of the opaque structure named "sqlite3")只能在一个线程中使用,不可多个线程共用一个数据库连接。 参考:http://www.sqlite.org/faq.html#q6
3. 关于事务, 对于每个INSERT语句都会默认生成一个事务去执行, 而一秒中执行事务的次数是有限的(几十次左右),但是单个的INSERT语句在普通的Desktop computer可以执行50,000次左右,所以,对于多个相近的INSERT我们可以显式的放进一个事务中进行处理,来提高效率。 参考:http://www.sqlite.org/faq.html#q19
很重要的两句话:
数据库只有在事务中才能被修改。 所有更改数据库的SQL命令(除SELECT以外的所有SQL命令)都会自动开启一个新的事务,并且当最后一个查询完成时自动提交。
threadsafe就是指在设置正确的前提下,多线程同时访问SQLite并不会影响数据库的完整性,而不是说每个线程对数据库所有的操作都可以保证正确执行!!!经过实际测试我才意识到这个问题。
不论是设置成SQLITE_CONFIG_SERIALIZED还是SQLITE_CONFIG_MULTITHREAD,多个线程(每个线程使用一个数据库连接)执行的时候,三个步骤(prepare_v2、step、finalize)都会出现SQLITE_BUSY(5)的错误。
虽然,不会影响数据库中的数据完整性, 但是,一旦在程序中操作失败,而我们又没有检查返回值,直接会影响程序逻辑的正确性(简单说,本意为会插入的数据并没有插进数据库)。 所以,显然不可以直接让多线程去操作数据库。
解决方法:
1.在每个线程操作数据库时,手动加锁
2.形成一个操作队列,统一去操作数据库
对于第一个方式,由于直接才有sqlite的C API,所以,如果才有加锁的话会导致临界代码过于臃肿,所以不仅行考虑。
对于第二中方式,已经有第三方的封装类(比如FMDB)来实现。但是,为保证代码的质量和灵活性,自己采用的是GCD的方式,维护一个串行的queue,然后结合Block语法来提交相应的DB操作。
主要示例代码:
[cpp] view
plaincopy
//Config Sqlite and create a database
int glOpenDataBase(NSString* dbName)
{
int ret = -1;
glDatabase = NULL;
if ((ret=sqlite3_config(SQLITE_CONFIG_SINGLETHREAD)) != SQLITE_OK) {
NSLog(@"%s:%d ERROR: config sqlite failed, error code:%d", __FUNCTION__, __LINE__, ret);
return ret;
}
NSString *dbPath = [[NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES) objectAtIndex:0] stringByAppendingPathComponent:dbName];
if ((ret=sqlite3_open([dbPath UTF8String], &glDatabase)) != SQLITE_OK) {
NSLog(@"%s:%d ERROR: open database failed, error code:%d", __FUNCTION__, __LINE__, ret);
return ret;
}
return ret;
}
[cpp] view
plaincopy
//Create a serial queue
glOpreateDBQueue = dispatch_queue_create(OPERATE_DB_QUEUE, DISPATCH_QUEUE_SERIAL);
[cpp] view
plaincopy
//Call database operate function in queue
dispatch_async(glOpreateDBQueue, ^(void){
[self newRaceStoreDB];
});
如果需要影响前端的UI,可以编写类似于下面的语法:
[cpp] view
plaincopy
//Affect the UI using dispatch_get_main_queue()
dispatch_async(glOpreateDBQueue, ^(void){
dispatch_async(dispatch_get_main_queue(), ^(void){
self.title = [NSString stringWithFormat:@"第%u局-第%u口", glCurrentDimianIndex, glCurrentRoundIndex];
});
});
如果我们需要循环的插入多条记录的话,一定要开启事务,因为,每个INSERT语句默认都会创建一个事务,在1秒中之内最多可以执行几十次事务,但是,可以执行最多5000次左右的INSERT插入操作。
[cpp] view
plaincopy
char *errorMsg = NULL;
if (sqlite3_exec(glDatabase, "BEGIN TRANSACTION", NULL, NULL, &errorMsg) != SQLITE_OK) {
NSLog(@"%s:%d ERROR: when begine transaction error:%s", __func__, __LINE__, errorMsg);
}
//End a transaction
if (sqlite3_exec(glDatabase, "COMMIT TRANSACTION", NULL, NULL, &errorMsg) != SQLITE_OK) {
NSLog(@"%s:%d ERROR:%s", __func__, __LINE__, errorMsg);
}
要保证写入数据的完整性,必须保证所有访问sqlite的操作都在我们创建的串行队列里面进行。
相关文章推荐
- SQLite的多线程应用与iOS开发
- 简介iOS开发中应用SQLite的模糊查询和常用函数
- iOS多线程应用开发中使用NSOperation类的基本方法
- iOS 开发之多线程的应用场景
- IOS开发数据库篇—SQLite的应用
- iOS 开发 多线程详解之GCD应用延迟操作,单例设计模式,调度组
- iOS开发数据库篇—SQLite的应用
- iOS开发数据库篇—SQLite的应用
- iOS应用开发中SQLite的初步配置指南
- iOS开发中sqlite3基本应用
- Android开发中SQLite在多线程并发访问的应用
- iOS开发数据库篇—SQLite的应用
- iOS开发数据库篇—SQLite的应用
- 第01天多线程网络:(03):多线程在iOS开发中的应用
- iOS开发数据库篇—SQLite的应用
- 实例解析iOS应用多线程开发中NSthread类的用法
- 理解iOS多线程应用的开发以及线程的创建方法
- iOS开发数据库篇—SQLite的应用
- iOS多线程应用开发中自定义NSOperation类的实例解析
- iOS应用开发基础(四)基础知识(数据存储和多线程)