mongodb 和 pymongo 文档大小 16Mb 限制

我正在使用 Windows 上的“/showIncludes”标志和 *nix 上的“-H”标志来分析构建中的包含内容。

我正在用 python 脚本解析这些信息。包含的每个文件都变成一个对象，列出其子文件（它包含的文件）和祖先（包含该文件的包含路径）。

创建这些对象后，我想使用 pymongo 将它们推送到 mongodb 数据库中。

这对于 99% 的包含内容都适用。但〜5非常大。当我尝试将它们添加到 mongodb 时，它会抱怨。

Traceback (most recent call last):
  File "mongodb.py", line 94, in <module>
    includes_collection.update({'id': include.include_id}, { 'ancestor_tree': ancestor_tree_ids } )
  File "C:\Python27\lib\site-packages\pymongo-2.7.2-py2.7-win-amd64.egg\pymongo\collection.py", line 551, in update
    docs, check_keys, self.uuid_subtype, client)
DocumentTooLarge: command document too large

在 mongo 上阅读这似乎是一个设计选择。默认情况下文档不能超过 16Mb。但可以使用 --nssize 命令行选项覆盖它。看

http://docs.mongodb.org/manual/reference/program/mongod/#bin.mongod http://docs.mongodb.org/manual/reference/program/mongod/#bin.mongod

所以我用--nssize 32/64/128重新运行mongod。我认为我的任何包含对象都不超过 128Mbs。但问题仍然存在。

所以我现在想知道 pymongo 是否应该受到指责。它尊重这个服务器设置吗？

我的 mongod 版本是

数据库版本v2.6.3 2014-08-28T16：56：51.534 + 0100 git版本：255f67a66f9603c59380b2a389e386910bbb52cb

我正在使用 pymongo-2.7.2-py2.7-win-amd64。

有没有办法解决这个限制？

遗憾的是，您不能超过每个文档 16MB 的 BSON 限制。您使用的 mongod 选项与文档大小无关。它指定 mongodb 命名空间文件的默认大小 - 与最大文档大小完全无关。正如文档所建议的，如果您确实需要存储大于 16MB 的对象，我会看看 GridFS API。

从文档中：

BSON文档

BSON 文档大小

BSON 文档的最大大小为 16 MB。

最大文档大小有助于确保单个文档无法 使用过多的 RAM 或在传输过程中使用过多的 RAM 的带宽。为了存储大于最大大小的文档，MongoDB 提供 GridFS API。请参阅 mongofiles 和您的文档 有关 GridFS 的更多信息，请参阅驱动程序。

命名空间文件的大小

命名空间文件不能大于 2047 MB​​。

默认情况下，命名空间文件为 16 MB。您可以配置 使用 nsSize 选项调整大小。

--nssize

默认值：16

指定名称空间文件的默认大小，这些文件 以 .ns 结尾。每个集合和索引都算作一个命名空间。

使用此设置可以控制新创建的命名空间文件的大小。 此选项对现有文件没有影响。最大尺寸为 命名空间文件大小为 2047 MB​​。默认值为 16 兆字节 提供大约 24,000 个命名空间。

http://docs.mongodb.org/manual/reference/limits/ http://docs.mongodb.org/manual/reference/limits/

http://docs.mongodb.org/manual/reference/program/mongod/#bin.mongod http://docs.mongodb.org/manual/reference/program/mongod/#bin.mongod