给定条件并行或顺序执行 foreach 循环

我经常会得到几个嵌套的结果foreach循环，有时在编写通用函数（例如，对于包）时，没有明显可以并行化的级别。有什么方法可以实现下面的模型所描述的内容吗？

foreach(i = 1:I) %if(I < J) `do` else `dopar`% {
    foreach(j = 1:J) %if(I >= J) `do` else `dopar`% {
        # Do stuff
    }
}

此外，是否有某种方法可以检测并行后端是否已注册，以便我可以避免收到不必要的警告消息？这在 CRAN 提交之前检查包时非常有用，并且不会打扰在单核计算机上运行 R 的用户。

foreach(i=1:I) %if(is.parallel.backend.registered()) `dopar` else `do`% {
    # Do stuff
}

谢谢你的时间。

Edit:非常感谢您对核心和工作人员的所有反馈，您是对的，处理上述示例的最佳方法是重新考虑整个设置。我更喜欢下面这样的东西triu想法，但本质上是相同的。当然也可以通过并行来完成tapply就像乔里斯建议的那样。

ij <- expand.grid(i=1:I, j=1:J)
foreach(i=ij$I, j=ij$J) %dopar% {
    myFuction(i, j)
}

然而，在我试图简化引发此线程的情况时，我遗漏了一些关键细节。想象一下我有两个函数analyse and batch.analyse并且并行化的最佳级别可能会有所不同，具体取决于n.replicates and n.time.points.

analyse <- function(x, y, n.replicates=1000){
    foreach(r = 1:n.replicates) %do% {
        # Do stuff with x and y
    }
}
batch.analyse <- function(x, y, n.replicates=10, n.time.points=1000){
    foreach(tp = 1:time.points) %do% {
        my.y <- my.func(y, tp)
        analyse(x, my.y, n.replicates)
    }
}

If n.time.points > n.replicates并行化是有意义的batch.analyse但除此之外，并行化更有意义analyse。关于如何解决它有什么想法吗？是否可以以某种方式检测到analyse并行化是否已经发生？

您提出的问题是 foreach 嵌套运算符“%:%”的动机。如果内部循环的主体需要大量的计算时间，那么您可以非常安全地使用：

foreach(i = 1:I) %:%
    foreach(j = 1:J) %dopar% {
        # Do stuff
    }

这将“展开”嵌套循环，从而产生可以并行执行的 (I * J) 个任务。

如果内循环体不需要太多时间，则解决方案会更困难。标准解决方案是并行化外循环，但这仍然可能导致许多小任务（当 I 较大且 J 较小时）或一些大型任务（当 I 较小且 J 较大时）。

我最喜欢的解决方案是将嵌套运算符与任务分块结合使用。这是使用 doMPI 后端的完整示例：

library(doMPI)
cl <- startMPIcluster()
registerDoMPI(cl)
I <- 100; J <- 2
opt <- list(chunkSize=10)
foreach(i = 1:I, .combine='cbind', .options.mpi=opt) %:%
    foreach(j = 1:J, .combine='c') %dopar% {
        (i * j)
    }
closeCluster(cl)

这会产生 20 个“任务块”，每个任务块由 10 次循环体计算组成。如果您想为每个工作人员分配一个任务块，则可以将块大小计算为：

cs <- ceiling((I * J) / getDoParWorkers())
opt <- list(chunkSize=cs)

不幸的是，并非所有并行后端都支持任务分块。另外，doMPI 不支持 Windows。

有关此主题的更多信息，请参阅 foreach 包中的我的小插图“嵌套 Foreach 循环”：

library(foreach)
vignette('nesting')