如何合并两个大型数据集，同时在r中生成具有不同重复值的新列

我有一个让我抓狂的问题，真的需要你的帮助。 简化的问题是这样的：

d1<-data.table(v1=c("a","b","c","d","d","b","a","c","a","d","b","a"),
                    v2=(seq(1:12)),V3=rep(1:4,times=3))

d2<-data.table(v1=c("a","b","c","d"),v3=c(3,2,1,4),v4=c("y","x","t","e"))

这将产生两个数据集：

    D1:     
    v1 v2 V3
 1:  a  1  1
 2:  b  2  2
 3:  c  3  3
 4:  d  4  4
 5:  d  5  1
 6:  b  6  2
 7:  a  7  3
 8:  c  8  4
 9:  a  9  1
10:  d 10  2
11:  b 11  3
12:  a 12  4

> d2
   v1 v3 v4
1:  a  3  y
2:  b  2  x
3:  c  1  t
4:  d  4  e

正如您所看到的，v1 和 v3 中的元素是相同的。现在我想通过在 D1 中创建一个新列来连接两个数据集，该新列返回 d2 中与索引 v1 和 v3 匹配的 V4 的值，我希望我能得到如下所示的输出：

>

 d3
    v1 v2 V3 V4
 1:  a  1  1 na
 2:  b  2  2  x
 3:  c  3  3 na
 4:  d  4  4  e
 5:  d  5  1 na
 6:  b  6  2  x
 7:  a  7  3  y
 8:  c  8  4 na
 9:  a  9  1 na
10:  d 10  2 na
11:  b 11  3 na
12:  a 12  4 na

我使用的实际数据量是比较大的。它类似于 113MB 数据与 23MB 的联合。我尝试使用 for 循环来解决这个问题，因为数据太长，需要很长时间才能完成任务。我也尝试过mergeand sqldf但他们两人都未能完成这项工作。你能帮我解决这个问题吗？非常感谢！

我会这样做：

setkey(d1, v1, V3) 
d1[d2, v4 := v4][]

• 对于表单的连接x[i], 键为x需要设置。i可能有也可能没有密钥集。所以我们设置密钥为d1转到专栏v1 and V3.

• 接下来，我们执行连接d1[d2]其中，对于每一行d2查找与关键列匹配的行d1并返回连接结果。我们并不是在寻找确切的结果。我们宁愿添加一个新列，每个匹配行从中获取其值d2's v4否则NA。为此，我们利用 data.table 的按引用子分配功能。加入时i to x，我们仍然可以提供一个表达式j，并参考i的专栏。您也可以将它们称为i.v4（通常在两个表中都有同名的列时使用x and i).

• :=通过引用添加/更新列。的 LHS:=是我们要在此处创建的列名称和 RHSv4是我们要从中分配的值（这里是来自的列d2）。因此，对于每个匹配行，我们分配d2's v4 onto d1的新专栏（我们命名）v4通过引用（就地，意味着不进行复制），那些没有匹配的行将获得默认值NA.

• 最后[]只是将输出打印到屏幕上，如:=无形地返回结果。

希望这有助于理解这里发生的事情。