如何提高 MongoDB 批量性能？

我有这个对象，其中包含一些元数据和大量项目。我曾经将其存储在 mongo 中，并通过以下方式查询它$unwind荷兰国际集团的数组。 然而，在极端情况下，阵列变得如此之大，以至于我遇到了 16MB BSON 限制。

所以我需要将数组的每个元素存储为单独的文档。为此，我需要将元数据添加到所有这些内容中，以便我可以找到它们。建议我使用批量操作为了这。

然而，性能似乎真的很慢。插入一份大文档几乎是即时的，这需要花费十秒.

var bulk        = col.initializeOrderedBulkOp();
var metaData    = {
    hash            : hash,
    date            : timestamp,
    name            : name
};

// measure time here

for (var i = 0, l = array.length; i < l; i++) { // 6000 items
    var item = array[i];

    bulk.insert({ // Apparently, this 6000 times takes 2.9 seconds
        data        : item,
        metaData    : metaData
    });

}

bulk.execute(bulkOpts, function(err, result) { // and this takes 6.5 seconds
    // measure time here
});

批量插入 6000 个文档，总计 38 MB 的数据（在 MongoDB 中转换为 BSON 为 49 MB），性能似乎糟糕得令人无法接受。 将元数据附加到每个文档的开销不会那么糟糕，对吧？更新两个索引的开销不会那么糟糕，对吧？

我错过了什么吗？有没有更好的方法来插入需要作为一个组来获取的文档组？

这不仅仅是我的笔记本电脑。在服务器上也一样。让我觉得这不是配置错误，而是编程错误。

使用 MongoDB2.6.11带节点适配器node-mongodb-native 2.0.49

-update-

只需将元数据添加到批量中的每个元素即可2.9秒。需要有更好的方法来做到这一点。

批量发送批量插入操作，因为这会减少服务器的流量，从而通过不在单独的语句中发送所有内容来执行高效的有线事务，而是将其分解为可管理的块以供服务器提交。使用这种方法，等待回调响应的时间也更少。

更好的方法是使用async模块，因此即使循环输入列表也是一个非阻塞操作。选择的批量大小可能会有所不同，但选择每 1000 个条目的批量插入操作将可以安全地保持在 16MB BSON 硬限制以下，因为整个“请求”等于一个 BSON 文档。

下面演示使用async模块的 while 迭代数组并重复调用迭代器函数，而 test 返回 true。停止时或发生错误时调用回调。

var bulk = col.initializeOrderedBulkOp(),
    counter = 0,
    len = array.length,
    buildModel = function(index){   
        return {
            "data": array[index],
            "metaData": {
                "hash": hash,
                "date": timestamp,
                "name": name
            }
        }
    };

async.whilst(
    // Iterator condition
    function() { return counter < len },

    // Do this in the iterator
    function (callback) {
        counter++;
        var model = buildModel(counter);
        bulk.insert(model);

        if (counter % 1000 == 0) {
            bulk.execute(function(err, result) {
                bulk = col.initializeOrderedBulkOp();
                callback(err);
            });
        } else {
            callback();
        }
    },

    // When all is done
    function(err) {
        if (counter % 1000 != 0) {
            bulk.execute(function(err, result) {
                console.log("More inserts.");
            }); 
        }           
        console.log("All done now!");
    }
);