第一种方法
我尝试访问预分配的 data.frame 的每个元素:
res <- data.frame(x=rep(NA,1000), y=rep(NA,1000))
tracemem(res)
for(i in 1:1000) {
res[i,"x"] <- runif(1)
res[i,"y"] <- rnorm(1)
}
但是tracemem变得疯狂(例如data.frame每次都被复制到新的地址)。
替代方法(也不起作用)
一种方法(不确定它是否更快,因为我还没有进行基准测试)是创建一个 data.frames 列表,然后stack
他们在一起:
makeRow <- function() data.frame(x=runif(1),y=rnorm(1))
res <- replicate(1000, makeRow(), simplify=FALSE ) # returns a list of data.frames
library(taRifx)
res.df <- stack(res)
不幸的是,在创建列表时,我认为您将很难预先分配。例如:
> tracemem(res)
[1] "<0x79b98b0>"
> res[[2]] <- data.frame()
tracemem[0x79b98b0 -> 0x71da500]:
换句话说,替换列表的元素会导致列表被复制。我假设整个列表,但也可能只是列表中的那个元素。我不太熟悉 R 内存管理的细节。
可能是最好的方法
与当今许多速度或内存有限的进程一样,最好的方法很可能是使用data.table
代替data.frame
。自从data.table
有:=
通过引用运算符赋值,可以更新而无需重新复制:
library(data.table)
dt <- data.table(x=rep(0,1000), y=rep(0,1000))
tracemem(dt)
for(i in 1:1000) {
dt[i,x := runif(1)]
dt[i,y := rnorm(1)]
}
# note no message from tracemem
但正如@MatthewDowle 指出的那样,set()
是在循环内执行此操作的适当方法。这样做会使速度更快:
library(data.table)
n <- 10^6
dt <- data.table(x=rep(0,n), y=rep(0,n))
dt.colon <- function(dt) {
for(i in 1:n) {
dt[i,x := runif(1)]
dt[i,y := rnorm(1)]
}
}
dt.set <- function(dt) {
for(i in 1:n) {
set(dt,i,1L, runif(1) )
set(dt,i,2L, rnorm(1) )
}
}
library(microbenchmark)
m <- microbenchmark(dt.colon(dt), dt.set(dt),times=2)
(结果如下所示)
标杆管理
循环运行 10,000 次后,数据表几乎快了整整一个数量级:
Unit: seconds
expr min lq median uq max
1 test.df() 523.49057 523.49057 524.52408 525.55759 525.55759
2 test.dt() 62.06398 62.06398 62.98622 63.90845 63.90845
3 test.stack() 1196.30135 1196.30135 1258.79879 1321.29622 1321.29622
以及比较:=
with set()
:
> m
Unit: milliseconds
expr min lq median uq max
1 dt.colon(dt) 654.54996 654.54996 656.43429 658.3186 658.3186
2 dt.set(dt) 13.29612 13.29612 15.02891 16.7617 16.7617
注意n
这里是 10^6,而不是上面绘制的基准中的 10^5。因此,工作量增加了一个数量级,并且结果以毫秒而不是秒来衡量。确实令人印象深刻。