使用 data.table 加速 rollapply

我是 data.tables 的新手，所以如果这是一个非常基本的问题，我深表歉意。

我听说 data.tables 在处理大量数据时显着提高了计算时间，因此想看看 data.table 是否能够帮助加快 rollapply 函数的速度。

如果我们有一些单变量数据

xts.obj <- xts(rnorm(1e6), order.by=as.POSIXct(Sys.time()-1e6:1), tz="GMT") 
colnames(xts.obj) <- "rtns" 

宽度为 100、p 为 0.75 的简单滚动分位数需要花费惊人的长时间......

即代码行

xts.obj$quant.75 <- rollapply(xts.obj$rtns,width=100, FUN='quantile', p=0.75) 

似乎需要永远...

data.table 可以做些什么来加快速度吗？即是否有可以应用的通用滚动函数？

也许是一个将 xts 对象转换为 data.table 对象以加速执行该功能，然后在最后重新转换回 xts 的例程？

提前致谢

hlm

附注我似乎在 data.table 邮件列表上没有得到太多回应，所以我在这里发帖，看看我是否得到更好的回应。

p.p.s 快速浏览另一个使用数据帧的示例，data.table 解决方案似乎比 rollapply 函数花费更长的时间，如下所示：

> x <- data.frame(x=rnorm(10000))
> x.dt <- data.table(x)
> system.time(l1 <- as.numeric(rollapply(x,width=10,FUN=quantile,p=0.75)))   
   user  system elapsed 
   2.69    0.00    2.68 
> system.time(l <- as.numeric(unlist(x.dt[,lapply(1:((nrow(x.dt))-10+1), function(i){ x.dt[i:(i+10-1),quantile(x,p=0.75)]})])))
   user  system elapsed 
  11.22    0.00   11.51 
> identical(l,l1)
[1] TRUE

数据表在这里是完全不相关的 - 你本质上是在运行sapply在向量上，这几乎是您可以获得的最快的操作（除了 C）。数据帧和数据表总是比向量慢。您可以通过使用直接向量（无需 xts 调度）获得一些好处，但快速完成此操作的唯一简单方法是并行化：

> x = as.vector(xts.obj$rtns)
> system.time(unclass(mclapply(1:(length(x) - 99),
                      function(i) quantile(x[i:(i + 99)], p=0.75), mc.cores=32)))
   user  system elapsed 
325.481  15.533  11.221 

如果您需要更快，那么您可能需要编写一个专门的函数：天真的 apply 方法对每个块重新排序，这显然是浪费 - 您所需要做的就是删除一个元素并排序下一个元素以获得分位数，所以如果你这样做，你可以预期大约 50 倍的加速 - 但你必须自己编写代码（所以只有当你更频繁地使用它时才值得......）。