从 Linux bash 解析 FB-Purity 的 Firefox idb（索引数据库 API）object_data blob

我想从 Linux bash 脚本中读取由名为 FB-Purity 的特定 Firefox 插件存储的结构化数据。

我找到了一个名为.mozilla/firefox/b8eab5j0.default/storage/default/moz-extension+++37a9788c-671d-4cae-ba5c-fbdb8788499a^userContextId=4294967295/其中包含一个.metadata包含字符串的文件moz-extension://37a9788c-671d-4cae-ba5c-fbdb8788499a，一个 URL，在 Firefox 中打开时会显示该附加组件的详细信息，因此我非常确定该文件夹属于该附加组件。

该文件夹包含一个idb目录，听起来像索引数据库 API https://www.w3.org/TR/IndexedDB-2/, W3C 标准显然从去年开始就被 Firefox 使用了 https://blog.mozilla.org/addons/2018/08/03/new-backend-for-storage-local-api/它用于存储附加数据。

The idb文件夹仅包含一个空文件夹和一个 SQLite 文件。

不幸的是，SQLite 文件不包含太多应用程序结构化数据，但是object_data表包含一个 95KB 的 blob，其中可能包含真实的结构化数据：

INSERT INTO `object_data` VALUES (1,'0pmegsjfoetupsf.742612367',NULL,NULL,
X'e08b0d0403000101c0f1ffe5a201000400ffff7b00220032003100380035003000320022003a002
2005300610074006f0072007500200055007205105861006e00690022002c00220036003100350036
[... 95KB ...]
00780022007d00000000000000');

Question：知道这个 blob 的格式是什么吗？如何将其（使用命令行或任何库或 Linux 工具）提取为 JSON 或任何其他可读格式？

好吧，今天我度过了愉快的一天，解决了这个问题，并最终创建了一个 Python 工具，该工具可以从这些 indexedDB 数据库文件中读取数据并打印它们（也许在某些时候还会打印更多数据）：moz-idb-编辑 https://gitlab.com/ntninja/moz-idb-edit

首先回答问题的技术部分：

• 两个名字key（姓名）和data（值）使用 Mozilla 专有格式，目前其唯一文档似乎是其源代码。
• 这些键使用专门针对此用例的编码，其粗略描述可在mozilla-central/dom/indexedDB/Key.cpp https://searchfox.org/mozilla-central/source/dom/indexedDB/Key.cpp– 该文件还包含唯一已知的实现。其独特的卖点似乎是它相对紧凑，同时与所有可能的索引类型兼容网站可能会向您抛出 https://w3c.github.io/IndexedDB/#convert-a-value-to-a-key以及默认情况下正确的二进制排序顺序。
• 这些值使用 SpiderMonkey 的内部 StructuredClone 表示形式存储，在浏览器中的进程之间移动值时也会使用该表示形式。再次有没有文档可言，但可以阅读源代码 https://searchfox.org/mozilla-central/source/js/src/vm/StructuredClone.cpp#2055幸运的是，这很容易理解。然而，在添加到数据库之前，生成的二进制文件会使用 Google 即时压缩快速压缩 https://en.wikipedia.org/wiki/Snappy_(compression)“不以最大压缩为目标[而是……]以非常高的速度和合理的压缩为目标”——考虑到我们在这里处理的是浪费的网络内容，这可能不是一个坏主意。
• 要为扩展程序的本地存储数据找到正确的 indexedDB 文件，需要将扩展​​程序的静态 ID 解析为所谓的“内部 UUID”，其值在每个浏览器配置文件实例中都不同（这使得基于已安装的插件进行跟踪变得更加困难） ）。其映射表存储为pref https://web.archive.org/web/20210531111028/https://developer.mozilla.org/en-US/docs/Mozilla/Preferences/A_brief_guide_to_Mozilla_preferences（“extensions.webextensions.uuids”）在prefs.js。那么 IDB 路径是${MOZ_PROFILE}/storage/default/moz-extension+++${EXT_UUID}^userContextId=4294967295/idb/3647222921wleabcEoxlt-eengsairo.sqlite

出于所有实际意图和目的，您可以通过下载上述项目来读取任何扩展的单个存储密钥的值。基本用法是：

$ ./moz-idb-edit --extension "${EXT_ID}" --profile "${MOZ_PROFILE}" "${STORAGE_KEY}"

Where ${EXT_ID}是扩展程序的静态 ID（检查其manifest.json文件或查看about:support#extensions-tbody如果您不确定），${MOZ_PROFILE}是 Firefox 配置文件目录（也在about:support) and ${STORAGE_KEY}是您要查询的键的名称（不幸的是，尚不支持查询所有键）。

目前也不支持写入数据。

当我实现更多功能时，我会更新这个答案（或者在项目页面上向我提出问题！）。