R 语言：使用 ff 包计算“group by”或拆分时出现问题

我对 R 几乎是新手，很抱歉如果我提出一些基本问题，但我找不到这个“简单”问题的解决方案： 我有一个患者数据库（大数据库，2500 万行，14 列），每个“id”有几行，例如以下结构：

"id" "birth_date"  "treatment"  "date_treatment"
123   2002-01-01    2            2011-01-03
123   2002-01-01    3            2011-10-03
124   2002-01-01    6            2009-11-07
124   2002-01-01    NA           NA
...   .....         ......       ........ 
1022  2007-01-01    4            2011-01-06

我必须使用 ff 包才能使用少量 RAM，因此所有进程都应该进入 ff 函数。 我想知道，对于每个“id”，他/她收到的最小“年龄”是多少 治疗 = 2 或 4。所以，那就是，每个单独的id，在通用代码中：

if(c(2,4) 中的治疗) then min(治疗日期 - 出生日期)

我只想保留那些最小的“年龄”数据，也许还有 ID。

一种解决方案是：

age_c <- (data$date_treatment - data$birth_date)/365.25;
data$age_c <- age_c;
idx <- ffwhich( data, treatment %in% c(2,4) );
result  <- data[idx,];

这使所有进程都保持在 ff 状态，并且没有内存问题，但是...... 我仍然需要找到一种方法来获取每个 ID 的最低年龄...... ffdfdply 似乎能够做到这一点：

age_fun <- function(x){ 
  min_ <- min.ff(x$age_c); 
  data.frame( age = min_);  
}

 result2 <- ffdfdply(x = data,
               split = data$id,
               FUN = function(x) age_fun(x),
               BATCHBYTES = 5000,
               trace=TRUE
 ); 

这花费了很长的时间，而且还给了我很多不同的错误......

有什么解决办法吗？
这是一个普遍问题，在 SAS 或 SQL 中很容易解决，但我在 R 中找不到正确的组合。 所以一般问题是：

如何计算变量（行）的相同值（组）的行列函数 非常大的数据集？？？

谢谢 ！！

ffdfdply 是您解决问题所需的函数，但您使用它错误且效率低下。将 ffdfdply 视为进入每个 FUN，R 允许您放入 RAM 中的最大数据量，但仍然确保通过 RAM 中的每个 id 获取所有数据（或者如果适合 RAM，则可能是多个 id）。

所以 BATCHBYTES 5000 相当小（你真的只有 5 KB 的 RAM - 我猜不是 - 你在 90 年代的 Commodore 上安装了 R 吗？） 接下来，你的 FUNage_fun 写错了。要查看您在 FUN 中获得的内容，您可以将其打印出来。如 FUN=function(x){ print(head(x))); X}。 在FUN中，你在RAM中获取数据，所以你不需要使用min.ff，min就可以了。

另请注意 joran 的评论：如果您的 RAM 允许，您可以在每个块中获得多个 id。确保您的 FUN 执行拆分-应用-组合策略或在 FUN 中使用 dply。 还有另一句话是为了加快速度。你真的需要通过整个 ffdf.您只需要在函数和拆分中使用的列。所以 ffdfdply(x = data[c("id","age_c","treatment")], split = ...) 会做，否则你会在 RAM 中获得不需要的数据。

简而言之，这样的事情就可以解决问题

require(doBy)
result2 <- ffdfdply(
  x = data[c("id","age_c","treatment")], split = data$id,
  FUN = function(x) summaryBy(age_c ~ id, data=subset(x, treatment %in% c(2,4)), FUN=min))

如果您还想让那些没有接受过治疗 2 和 4 的人也这样做，请这样做。

require(doBy)
result2 <- ffdfdply(
  x = data[c("id","age_c","treatment")], split = data$id,
  FUN = function(x) {
   persons <- unique(x[, "id", drop=FALSE])
   result <- merge(
     persons,
     summaryBy(age_c ~ id, data=subset(x, treatment %in% c(2,4)), FUN=min),
     by.x="id", by.y="id", all.x=TRUE, all.y=FALSE
     )
   result
})