data.table 1.12.0 中分组是否并行？

在变更日志中data.table v1.12.0我注意到以下几点：

取子集、排序和分组现在使用更多并行性

我测试了是否可以加快某些分组的速度，但没有成功。我做了几次不同的测试，但总是得到相同的结果。分组实际上是并行的吗？也许我没有正确使用线程选项？如你看到的data.table已编译为openmp否则setDTthread打印一条消息告诉用户不支持openmp。这是我的一项测试的重现示例。

library(data.table)

n = 5e6
k = 1e4

DT = data.table(x = runif(n), y = runif(n), grp = sample(1:k, n, TRUE))

# Any function not too fast
f = function(x,y) as.list(eigen(cov(cbind(x,y)), only.values = TRUE)$value)

setDTthreads(1)
getDTthreads()
#> [1] 1

system.time(DT[ , f(x,y), by = grp])
#> utilisateur     système      écoulé 
#>       3.365       0.008       3.374

setDTthreads(0)
getDTthreads(T)
#> omp_get_max_threads() = 4
#> omp_get_thread_limit() = 2147483647
#> DTthreads = 0
#> RestoreAfterFork = true
#> [1] 4

system.time(DT[ , f(x,y), by = grp])
#> utilisateur     système      écoulé 
#>       3.324       0.029       3.238

^{Created on 2019-01-27 by the reprex package https://reprex.tidyverse.org (v0.2.1)}

是的，分组在 v 1.12.0 中是并行的

你的基准有点转移注意力。你想要一个fast f(x, y)如果你想隔离分组的速度。使用示例的基数，但使用一个简单的函数，我们得到：

library(data.table)
  packageVersion("data.table")
#> [1] '1.12.0'

n = 5e6
N <- n
k = 1e4

print(getDTthreads())
#> [1] 12

DT = data.table(x = rep_len(runif(n), N),
                y = rep_len(runif(n), N),
                grp = rep_len(sample(1:k, n, TRUE), N))
bench::system_time(DT[, .(a = 1L), by = "grp"])
#>   process      real 
#> 250.000ms  72.029ms

setDTthreads(1)

bench::system_time(DT[, .(a = 1L), by = "grp"])
#>   process      real 
#> 125.000ms 126.385ms

^{Created on 2019-02-01 by the reprex package https://reprex.tidyverse.org (v0.2.1)}

也就是说，我们在并行情况下稍微快一点，但仅快了大约 50 毫秒——与您的函数的 3 秒相比，可以忽略不计。

如果我们缩小 DT 的大小，我们可以看到更显着的差异：

library(data.table)
  packageVersion("data.table")
#> [1] '1.12.0'

n = 5e6
N <- 1e9
k = 1e4

print(getDTthreads())
#> [1] 12

DT = data.table(x = rep_len(runif(n), N),
                y = rep_len(runif(n), N),
                grp = rep_len(sample(1:k, n, TRUE), N))
bench::system_time(DT[, .(a = 1L), by = "grp"])
#> process    real 
#> 45.719s 14.485s

setDTthreads(1)

bench::system_time(DT[, .(a = 1L), by = "grp"])
#> process    real 
#> 24.859s 24.890s

sessioninfo::session_info()
#> - Session info ----------------------------------------------------------
#>  setting  value                       
#>  version  R version 3.5.2 (2018-12-20)
#>  os       Windows 10 x64              
#>  system   x86_64, mingw32             
#>  ui       RTerm                       
#>  language (EN)                        
#>  collate  English_Australia.1252      
#>  ctype    English_Australia.1252      
#>  tz       Australia/Sydney            
#>  date     2019-02-01                  
#> 

^{Created on 2019-02-01 by the reprex package https://reprex.tidyverse.org (v0.2.1)}