Couchbase、减少过大误差

2024-01-08

在我的工作中,我使用 couchbase,但遇到了一些问题。在我调用聚合视图之后,数据从某些设备到达 couchbase。该视图必须通过 2 个键聚合值:timestamp 和 deviceId。 在我尝试聚合超过 10k 的值之前,一切都很好。在这种情况下我有减少错误

地图功能:

function(doc, meta)
{
  if (doc.type == "PeopleCountingIn"&& doc.undefined!=true)
  {
    emit(doc.id+"@"+doc.time, [doc.in, doc.out, doc.id, doc.time, meta.id]);
  }
}

减少功能:

function(key, values, rereduce)
{
  var result = 
      { 
        "id":0,
        "time":0,
        "in" : 0, 
        "out" : 0,
        "docs":[]
      };
  if (rereduce)
  {
    result.id=values[0].id;
    result.time = values[0].time;
    for (i = 0; i<values.length; i++)
    {
      result.in = result.in + values[i].in;
      result.out = result.out + values[i].out;
      for (j = 0; j < values[i].docs.length; j++)
      {
        result.docs.push(values[i].docs[j]);
      }        
    }
  }
  else
  {
    result.id = values[0][2];
    result.time = values[0][3];
    for(i = 0; i < values.length; i++)
    {
      result.docs.push(values[i][4]);
      result.in = result.in + values[i][0];
      result.out = result.out + values[i][1];
    }
  }
  return result;
}

文档样本:

{
   "id": "12292228@0",
   "time": 1401431340,
   "in": 0,
   "out": 0,
   "type": "PeopleCountingIn"
}

UPDATE

输出文件:

{"rows":[
{"key":"12201774@0@1401144240","value":{"id":"12201774@0","time":1401144240,"in":0,"out":0,"docs":["12231774@0@1401546080@1792560127"]}},
{"key":"12201774@0@1401202080","value":{"id":"12201774@0","time":1401202080,"in":0,"out":0,"docs":["12201774@0@1401202080@1792560840"]}}
]
}

}

在“docs”数组长度超过 100 的情况下会发生错误。我认为在这种情况下可以使用 rereduce 函数。除了减少该数组的计数之外,是否有其他方法可以修复此错误?


Map 和Reduce 函数的输出有许多限制,以防止索引花费太长时间和/或变得太大。

这些正在被添加到官方文档中,但同时引用了问题(MB-11668 http://www.couchbase.com/issues/browse/MB-11668) 跟踪文档更新:

1) indexer_max_doc_size - 大于该值的文档将被跳过 索引器。记录一条消息(包含文档 ID、大小、存储桶名称、视图名称等) 当遇到这样的文档时。值为 0 表示没有限制(就像以前那样 之前)。当前默认值为 1048576 字节 (1Mb)。

2) max_kv_size_per_doc - 可以发出的 KV 对的最大总大小(字节) 单个视图的单个文档。当超过此限制时,将记录消息(带有 文档 ID、其大小、存储桶名称、视图名称等)。值为 0 表示没有限制(就像 以前是这样)。当前默认值为 1048576 字节 (1Mb)

Edit:此外,单次归约的大小有 64kB 的限制(reduce()。我建议您重新设计您的reduce 函数以返回此限制内的数据。看MB-7952 http://www.couchbase.com/issues/browse/MB-7952关于为什么会出现这种情况的技术讨论。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Couchbase、减少过大误差 的相关文章

随机推荐