为什么在使用重复键连接 data.tables 时有时需要allow.cartesian？

我试图理解当 R 中的 data.table 中有重复键时 J() 查找的逻辑。

这是我尝试过的一个小实验：

library(data.table)
options(stringsAsFactors = FALSE)

x <- data.table(keyVar = c("a", "b", "c", "c"),
            value  = c(  1,   2,   3,   4))
setkey(x, keyVar)

y1 <- data.frame(name = c("d", "c", "a"))
x[J(y1$name), ]
## OK

y2 <- data.frame(name = c("d", "c", "a", "b"))
x[J(y2$name), ]
## Error: see below

x2 <- data.table(keyVar = c("a", "b", "c"),
                 value  = c(  1,   2,   3))
setkey(x2, keyVar)
x2[J(y2$name), ]
## OK

我收到的错误消息是：

Error in vecseq(f__, len__, if (allow.cartesian) NULL else as.integer(max(nrow(x),  :
Join results in 5 rows; more than 4 = max(nrow(x),nrow(i)). Check for duplicate key
values in i, each of which join to the same group in x over and over again. If that's
ok, try including `j` and dropping `by` (by-without-by) so that j runs for each group
to avoid the large allocation. If you are sure you wish to proceed, rerun with 
allow.cartesian=TRUE. Otherwise, please search for this error message in the FAQ, Wiki, 
Stack Overflow and datatable-help for advice.

我实在不明白这一点。我知道我应该避免在查找函数中出现重复的键，我只是想获得一些见解，这样我将来就不会犯任何错误。

非常感谢您的帮助。这是一个很棒的工具。

您不必避免重复的键。只要结果不大于max(nrow(x), nrow(i))，即使有重复项，您也不会收到此错误。这基本上是一种预防措施。

当您有重复的键时，生成的连接有时会变得更大。自从data.table尽早知道此连接将产生的总行数，它提供此错误消息并要求您使用参数allow.cartesian=TRUE如果你真的确定的话。

这是一个（夸张的）示例，说明了此错误消息背后的想法：

require(data.table)
DT1 <- data.table(x=rep(letters[1:2], c(1e2, 1e7)), 
                  y=1L, key="x")
DT2 <- data.table(x=rep("b", 3), key="x")

# not run
# DT1[DT2] ## error

dim(DT1[DT2, allow.cartesian=TRUE])
# [1] 30000000        2

中的重复项DT2结果是“a”总数的 3 倍DT1(=1e7)。想象一下，如果您使用 1e4 值执行连接DT2，结果会爆炸！为了避免这种情况，有allow.cartesian默认情况下为 FALSE 的参数。

话虽这么说，我认为马特曾经提到过，也许可以在“大”连接（或导致大量行的连接 - 我猜这可能是任意设置的）的情况下提供错误。当/如果实现时，这将使连接正确，并且在连接不组合爆炸的情况下不会出现此错误消息。