MongoDB 记录太多?

2024-03-16

我有一个与 MongoDB 交互的 PHP 应用程序。直到最近,该应用程序运行良好,但几天前我发现该应用程序开始响应非常慢。其中一个收藏已突破 500K+ 条记录。因此,对该集合的任何查询的 MongCursor 都会超时。

我认为 500K 条记录并不算太多。使用 mongodb 的其他页面也开始变慢,但速度没有使用具有 500k 记录的集合的页面慢。不与 MongoDB 交互的静态页面仍然可以快速响应。

我不确定这里可能是什么问题。我已经对集合建立了索引,所以这似乎不是问题。另一点需要注意的是,服务器上的 RAM 规格为 512 MB,当 PHP 执行 Mongo 时,top 命令显示 15000k 可用内存。

任何帮助将不胜感激。


总结一下聊天室的后续情况,这个问题实际上与 find() 查询有关,该查询正在扫描所有约 500k 文档以找到 15 个:

db.tweet_data.find({ 
    $or: 
    [ 
        { in_reply_to_screen_name: /^kunalnayyar$/i, handle: /^kaleycuoco$/i, id: { $gt: 0 } }, 
        { in_reply_to_screen_name: /^kaleycuoco$/i, handle: /^kunalnayyar$/i, id: { $gt: 0 } } 
    ], 
    in_reply_to_status_id_str: { $ne: null }
} ).explain() 
{ 
    "cursor" : "BtreeCursor id_1", 
    "nscanned" : 523248, 
    "nscannedObjects" : 523248, 
    "n" : 15, 
    "millis" : 23682, 
    "nYields" : 0, 
    "nChunkSkips" : 0, 
    "isMultiKey" : false, 
    "indexOnly" : false, 
    "indexBounds" : { 
        "id" : [ 
            [ 
                0, 
                1.7976931348623157e+308 
            ] 
        ] 
    } 
}

该查询正在使用不区分大小写的正则表达式 http://www.mongodb.org/display/DOCS/Advanced+Queries#AdvancedQueries-RegularExpressions这不会有效地利用索引(尽管在本例中实际上没有定义索引)。

建议的方法:

  • 创建小写handle_lc and inreply_lc用于搜索目的的字段

  • add a 复合指数 http://www.mongodb.org/display/DOCS/Indexes#Indexes-CompoundKeys关于那些:

    db.tweet.ensureIndex({handle_lc:1, inreply_lc:1})

  • 复合索引的顺序允许通过以下方式有效地查找所有推文handle or by (handle,in_reply_to)

  • 通过精确匹配而不是正则表达式进行搜索:

db.tweet_data.find({ $or: [ { in_reply_to_screen_name:'kunalnayyar', handle:'kaleycuoco', id: { $gt: 0 } }, { in_reply_to_screen_name:'kaleycuoco', handle:'kunalnayyar', id: { $gt: 0 } } ], })

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

MongoDB 记录太多? 的相关文章