SQLite多线程读写

2023-11-07

  • 多线程读写
SQLite 实质上是将数据写入一个文件,通常情况下,在应用的包名下面都能找到 xxx.db 的文件,拥有 root 权限的手机,可以通过 adb shell ,看到 data/data/ packagename /databases/xxx.db 这样的文件。

我们可以得知 SQLite 是文件级别的锁:多个线程可以同时读,但是同时只能有一个线程写。 Android 提供了 SqliteOpenHelper 类,加入 Java 的锁机制以便调用。

如果多线程同时读写(这里的指不同的线程用使用的是不同的 Helper 实例),后面的就会遇到 android.database.sqlite.SQLiteException: database is locked 这样的异常。
对于这样的问题,解决的办法就是 keep single sqlite connection 保持单个 SqliteOpenHelper 实例,同时对所有数据库操作的方法添加 synchronized 关键字。
如下所示:
复制内容到剪贴板
代码:
public class DatabaseHelper extends SQLiteOpenHelper {
        public static final String TAG = "DatabaseHelper";
        private static final String DB_NAME = "practice.db";
        private static final int DB_VERSION = 1;

        private Context mContext;
        private static DatabaseHelper mInstance;

        private DatabaseHelper(Context context) {
                super(context, DB_NAME, null, DB_VERSION);
        }

        public synchronized static DatabaseHelper getInstance(Context context) {
                if (mInstance == null) {
                        mInstance = new DatabaseHelper(context);
                }
                return mInstance;
        }

        @Override
        public void onCreate(SQLiteDatabase db) {
                // TODO Auto-generated method stub

        }

        @Override
        public void onUpgrade(SQLiteDatabase db, int oldVersion, int newVersion) {
                // TODO Auto-generated method stub

        }
public synchronized void queryMethod() {
                SQLiteDatabase readableDatabase = getReadableDatabase();
                //read operation
        }
        
        public void updateMethod() {
                SQLiteDatabase writableDatabase = getWritableDatabase();
                //update operation
        }
}

Android为我们提供了SqliteOpenHelper类,我们可以通过getWritableDatabase 或者 getReadableDatabase 拿到 SQLiteDatabase 对象,然后执行相关方法。这 2 个方法名称容易给人误解,我也在很长的一段时间内想当然的认为 getReadabeDatabase 就是获取一个只读的数据库,可以获取很多次,多个线程同时读,用完就关闭,实际上 getReadableDatabase 先以读写方式打开数据库,如果数据库的磁盘空 间满了,就会打开失败,当打开失败后会继续尝试以只读方式打开数据库。
复制内容到剪贴板
代码:
public synchronized SQLiteDatabase getReadableDatabase() {
        if (mDatabase != null && mDatabase.isOpen()) {
            return mDatabase;  // The database is already open for business
        }

        if (mIsInitializing) {
            throw new IllegalStateException("getReadableDatabase called recursively");
        }

        try {
            return getWritableDatabase();
        } catch (SQLiteException e) {
            if (mName == null) throw e;  // Can't open a temp database read-only!
            Log.e(TAG, "Couldn't open " + mName + " for writing (will try read-only):", e);
        }

        SQLiteDatabase db = null;
        try {
            mIsInitializing = true;
            String path = mContext.getDatabasePath(mName).getPath();
            db = SQLiteDatabase.openDatabase(path, mFactory, SQLiteDatabase.OPEN_READONLY);
            if (db.getVersion() != mNewVersion) {
                throw new SQLiteException("Can't upgrade read-only database from version " +
                        db.getVersion() + " to " + mNewVersion + ": " + path);
            }

            onOpen(db);
            Log.w(TAG, "Opened " + mName + " in read-only mode");
            mDatabase = db;
            return mDatabase;
        } finally {
            mIsInitializing = false;
            if (db != null && db != mDatabase) db.close();
        }
    }

在多线程中,如果第一个线程先调用getWritableDatabase,后面线程再次调用,或者第一个线程先调用getReadableDatabase,后面的线程调用getWritableDatabase,那么后面的这个方法是会失败的,因为数据库文件打开后会加锁,必须等前面的关闭后后面的调用才能正常执行,正是因为这个原因,可以1 Write+Many Read(有可能产生冲突,因为第一个getReadableDatabase有可能先于getWritableDatabase执行,导致后面的失败),也可以Many Read,但是不可能Many Write。所以使用单例加上同步的数据库操作方法,就不会出现死锁的问题,这部分例子请参照附件,多线程可以运行的很好,另外关于Sqlite database locking collisions example,网上有很不错的一个例子,可以 这里 去下载。

其实我觉得理论上可以修改getReadableDatabase方法,打开的数据库都是Read Only的,这样就能同时1 Write+Many Read,只不过要保证打开之前,数据库要创建或者升级好,这样读操作就不会互斥写操作,效率相对更高。
关于数据库关闭的问题,在下面好的习惯中会专 门说明。

  • 事务
接触过数据库的人,对事务这个概念一定不陌生,它是原子性的,要么执行成功,执行一半失败后会回滚,这样就能保证数据的完整性。 SQLiteDatabase 也提供了 Transaction 的相关方法,常见用法:
复制内容到剪贴板
代码:
db.beginTransaction();
   try {
     ...
     db.setTransactionSuccessful();
   } finally {
     db.endTransaction();
   }

使用事务对于批量更新有极大的好处,因为单次更新会频繁的调用数据库,曾经我同步过联系人,没使用事务之前,300个联系人写入自己的数据库大概需要3~5秒钟的时间,引入事务后,读取联系人的时间没有减少,但是所有更新的时间降为200ms级,提升极为明显。

  • 升级
在应用迭代多个版本后,随着功能的增加和改变,数据库改变是很常见的事情,由于数据库中的数据一般是需要永久保存的,应用更新后,用户不希望数据丢失,特别是如果应用有几十万,百万级的用户量,如果很粗鲁的丢弃旧版本数据库中数据,对用户体验是很不好的,如果你没有提供云端备份的方案,就需要为用户保留旧的数据,即便数据库结构要发生变化。
实际上多次数据库变动的升级是很痛苦的事情,要考虑每一个旧的版本,理论上用户可以从任何一个旧的版本直接升级到最新版本,我们需要考虑每一种情况。 onUpgrade 方法中,针对每一种版本号,先把旧的临时数据保存下来,删去旧的表,创建新表,然后将数据根据情况插入到新表中,不需要的字段可以丢弃,新增字段填默认值,数据可以临时存放到一个数组中,或者可以临时 cache 到文件中,最后将临时文件清空。
更新操作可以使用事务提高效率,另外需要知道的是 I/O 操作时耗时的,如果数据量较大,还需要放到单独的线程中处理,防止阻塞 UI

  • 数据初始化
我们也经常会遇到数据库中需要初始化数据,比如城市,机场,号码归属地等信息,如果数据量不是很大,我们可以处理后放到asset 或者raw 文件下,创建数据库后导入进去,并且在2.3 以前,asset 中文件有大小限制,文件大小不能超过1M ,否则AssetManager Resources classes 方法来获取InputStream ,将抛出DEBUG/asset(1123): Data exceeds UNCOMPRESS_DATA_MAX java.io.IOException 异常。

解决这个问题有 4 个方法:
1.改名称(最简单):
aapt 工具在打包 apk 文件时,会将资源文件压缩以减小安装包大小( raw 文件夹下的资源则不受影响)。 但是可以通过修改文件成下面的扩展名,逃避检查。
复制内容到剪贴板
代码:
/* these formats are already compressed, or don't compress well */
  static const char* kNoCompressExt[] = {
  ".jpg", ".jpeg", ".png", ".gif",
  ".wav", ".mp2", ".mp3", ".ogg", ".aac",
  ".mpg", ".mpeg", ".mid", ".midi", ".smf", ".jet",
  ".rtttl", ".imy", ".xmf", ".mp4", ".m4a",
  ".m4v", ".3gp", ".3gpp", ".3g2", ".3gpp2",
  ".amr", ".awb", ".wma", ".wmv"
  };

2.压缩:
如果原文件能压缩到1M一下,可以先压缩成zip或者rar格式,然后解压将数据库文件释放到相应位置。
3.分割文件:
大的数据,分割成多个小数据文件,info1.dat,info2.dat…,分别读取这些文件数据插入数据库。
4.网络:
上面的几种方法都是将初始化数据放在安装包中,这样无疑会增加安装包大小,如果必要情况下,可以将数据放到服务器上,创建数据库后,通过HTTP请求,获取JSON,XML数据或者数据库文件,然后经过处理入库。

  • 除此之外要有几点要注意

1.关闭Cursor
Cursor如果不关闭,虽然不会导致出错,但是Log中会有错误提示,还是严谨点,Activity中有startManagingCursor的方法,Activity会在生命周期结束时关闭这些Cursor,其他地方,我们则需要用完关闭,以前需要CursorAdapter则需要在changeCursor时判断关闭old cursor,在ActivityonDestory方法中关闭cursor
2.关闭DatabaseHelper
在上述单例Helper例子中,其实一直没有关闭数据库,但是我们阅读getReadabeDatabasegetWritableDatabas的方法,他们会关闭Old SQLiteDatabase的,我们只需要在ApplicationonTerminal方法中关闭即可,这样也能避免多线程中,一个线程关闭了数据库,导致其他线程使用的时候失败的问题。
实质上,数据库是一个文件引用,单例模式下,不关闭也不会出现问题,让它保持随单例的生命周期关闭就好了。
3.在循环外面获取ColumnIndex,如果表中列不是很多,每次查询又返回所有列的话,可以将列的index定义到TABLE_COLUMNS中去,这样每次获取指定列数据的话,就不用去查找index了。
4.数据库存放的数据类型
Android提供了多种数据存储的方法,文件,数据库,SharePreference,网络等,要根据情况选择合适的方式,不要把什么东西都往数据库中塞。
下面的几种情况就不适合放到数据库中:
1)图片等二进制数据:如果是图片的话,可以将文件名称或者路径保存到数据库中,真正的文件可以作为缓存文件保存在文件系统中。
2)临时数据:定位获取到的Location,登录的Session等。
3)日志数据:可以写入文件中,通常是log_xxxx.txt

 

demo:http://bbs.51cto.com/thread-990260-1.html

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

SQLite多线程读写 的相关文章

随机推荐

  • 【PaddlePaddle飞桨复现论文】—— 2. 采用 DNN 、CNN 和 VGG 实现车牌识别(VGG模型精度提高明显!!)

    一 任务描述 本次实践是一个多分类任务 需要将照片中的每个字符分别进行识别 完成车牌的识别 实践平台 百度AI实训平台 AI Studio PaddlePaddle1 8 0 二 数据集介绍 数据集文件名为characterData zip
  • SpringMVC之JSR303和拦截器

    目录 一 JSR 303 1 1 介绍 1 2 为什么要使用JSR 303 1 3 常用注解 1 4 快速入门 1 4 1 导入依赖 1 4 2 配置校验规则 1 4 3 编写方法校验 1 4 4 测试 二 拦截器 2 1 什么是拦截器 2
  • ClickHouse物化视图(八)

    文章目录 概述 1 物化视图与普通视图的区别 2 优缺点 3 基本语法 1 创建物化视图的限制 2 物化视图的数据更新 4 物化视图创建示例 5 更多文章和干货请关注公众号 概述 ClickHouse 的物化视图是一种查询结果的持久化 它确
  • Vue中TodoList案例_本地存储

    App vue
  • leetcode分类刷题:滑动窗口(三、两个序列+窗口定长类型)

    1 通过对滑动窗口前两个题型的总结 我们几乎已经习惯在给定的一个序列里使用滑动窗口的模板解题了 本次对应的 三 两个序列 窗口定长类型 也是考察连续子数组 连续子串问题 只不过这次会给定两个序列 判断短序列在长序列中是否存在字母异位词或排列
  • SSH 与 SSM

    SSM 指 SpringMVC Spring 和 MyBatis SSH 指 Struts Spring 和 Hibernate 两种框架的对比和对照为 控制器 事务层 持久层 SSH Struts Spring Hibernate SSM
  • Vue组件学习之组件自定义事件

    主要介绍组件的自定义事件的概念 使用等 何为组件自定义事件 组件自定义事件是一种组件间的通信方式 方向是 子组件 gt 父组件 使用场景 A是子组件 B是父组件 如果要把B的数据传给A 可以使用props配置项 如果要把A的数据转给B 就要
  • 【Springboot】集成百度地图实现定位打卡功能

    目录 第一章 需求分析 第二章 概要设计 第三章 详细设计 3 1 环境搭建 3 1 1 获取百度地图ak 3 1 2 创建springboot项目 3 2 配置application properties 3 3 配置pox xml 3
  • pyTorch基本数据类型

    pyTorch基本数据类型 文章目录 pyTorch基本数据类型 首先比较一下python和pytorch的数据类型区别 pyhon的特点 pytorch的特点 维度为0的标量 维度为1的向量 维度为2的Tensor 维度为3的Tensor
  • eclipse学习心得

    1运行程序 在后台遇到断点时 进入debug调试状态 作用域 功能 快捷键 全局 单步返回 F7 全局 单步跳过 F6 全局 单步跳入 F5 全局 单步跳入选择 Ctrl F5 全局 调试上次启动 F11 全局 继续 F8 全局 使用过滤器
  • js设置input只保留一位小数

    前言 input中只保留小数点后一位 直接不让他输入 实现方法 这里主要用 input事件来监听 vue中的话用 input input中加上 type text 注意这里有坑 不能用数字类型 谷歌 360可以 火狐会报错 oninput
  • C++的rapidjson库的安装和用法(包括Windows和Linux)

    C 的rapidjson库的安装和用法 包括Windows和Linux 1 RapidJson在Linux下安装 1 确保安装了git以及cmake make 2 在github官网上clone下RapidJson的工程 git clone
  • SpringMVC实现文件上传和下载功能

    实现文件上传和下载功能 一 文件上传功能 目录结构 设立流程 1 数据库表结构 2 dao包 3 po包 4 service包 5 controller包 6 resources包 7 webapp 8 spring的xml配置文件 9 导
  • JSP实现简单用户登录

    使用初级的JSP代码实现用户登录 使用TXT文件存储用户数据 初学JSP与大家分享一些自己的代码 index jsp
  • 最小二乘法圆拟合(附完整代码)

    文章目录 一 2D圆弧拟合 1 不经过给定起点与终点 2 精确经过给定起点与终点 二 3D圆弧拟合 一 2D圆弧拟合 1 不经过给定起点与终点 平面圆的一般方程为 x 2
  • RFID医疗耗材柜管理系统中的解决方案

    1 社会背景 医疗物资管理 传统的管理流程由于周期短 效率高 被各大医院广泛采用 但随之高值耗材种类激增所带来的准入标准弱化 信息追踪困难 管理责任不明确 历史数据统计分析困难等一系列问题日趋严峻 其次医院内部设备 财务和临床科室相互独立兼
  • 【unordered_map和unordered_set的封装】

    文章目录 1 哈希表的基本改造 2 迭代器 2 1 迭代器的大致框架 2 2 运算符重载的实现 2 3 哈希表的完善 3 unordered map和unordered set的封装 3 1 unordered map 3 2 unorde
  • MPC入门与Matlab实现

    本文为B站视频 你还在用PID MPC模型预测控制 从公式到代码 的学习笔记 强烈推荐去看这位大佬的视频 链接放在了最后 别忘了给大佬一键三连哈 MPC入门与Matlab实现 前言 1 模型 2 预测 3 滚动优化 参考轨迹 优化目标 4
  • python使用pymysql总是超时的解决方案

    可以使用如下方法对代码进行包裹 import pymysql import yaml from loguru import logger mysql config db my db host 127 0 0 1 user test user
  • SQLite多线程读写

    多线程读写 SQLite 实质上是将数据写入一个文件 通常情况下 在应用的包名下面都能找到 xxx db 的文件 拥有 root 权限的手机 可以通过 adb shell 看到 data data packagename databases