允许 foreach 工作人员注册并将子任务分配给其他工作人员

我有一个 R 代码，其中涉及多个 foreach 工作人员来并行执行一些任务。我正在使用 foreach 和 doMC 来实现此目的。我想让每个 foreach 工作人员招募一些新工作人员，并将其代码的某些部分（可并行）分发给他们。

当前的代码如下所示：

require(doMC)
require(foreach)
registerDoMC(cores = 8)

foreach (i = (1:8)) %dopar% {
<<some code here>>
    for (j in c(1:4))  {
    <<some other code here>>
    }
}

我正在寻找一个理想的代码，如下所示：

require(doMC)
require(foreach)
registerDoMC(cores = 8)

foreach (i = (1:8)) %dopar% {
<<some code here>>
    foreach (j = (1:4)) %dopar% {
    <<some other code here>>
    }
}

我看到了使用 doSNOW 和 doMC 的多范式并行性的示例在这里（https://www.rmetrics.org/files/Meielisalp2009/Presentations/Lewis.pdf#page=17） https://www.rmetrics.org/files/Meielisalp2009/Presentations/Lewis.pdf#page=17。但是，我不知道它是否符合我的要求。

还有，看来嵌套foreach http://cran.r-project.org/web/packages/foreach/vignettes/nested.pdf不适用，因为它需要合并两个循环（看这里） https://stackoverflow.com/a/9675136/2026975，而就我而言，这不是首选；第二个循环仅对第一个循环的部分代码有帮助。如果我错了，请纠正我。

Thanks.

在 foreach 循环内部使用 foreach 循环并没有什么特别的问题。以下是 doSNOW 循环内的 doMC 循环的示例：

library(doSNOW)
hosts <- c('host-1', 'host-2')
cl <- makeSOCKcluster(hosts)
registerDoSNOW(cl)
r <- foreach(i=1:4, .packages='doMC') %dopar% {
  registerDoMC(2)
  foreach(j=1:8, .combine='c') %dopar% {
    i * j
  }
}
stopCluster(cl)

对我来说，将 doMC 用于内部循环似乎很自然，但您可以按照自己的意愿进行操作。您还可以对两个循环使用 doSNOW，但随后您需要在外部 foreach 循环内创建并停止雪簇。

下面是在 doMC 循环中使用 doMC 的示例：

library(doMC)
registerDoMC(2)
r <- foreach(i=1:2, .packages='doMC') %dopar% {
  ppid <- Sys.getpid()
  registerDoMC(2)
  foreach(j=1:2) %dopar% {
    c(ppid, Sys.getpid())
  }
}

结果表明，尽管只有四个执行内部循环的主体，但 doMC 包总共派生了六个进程：

> r
[[1]]
[[1]][[1]]
[1] 14946 14949

[[1]][[2]]
[1] 14946 14951


[[2]]
[[2]][[1]]
[1] 14947 14948

[[2]][[2]]
[1] 14947 14950

当然，您需要注意不要在单个节点上启动太多进程。我发现这种嵌套有点尴尬，这导致了嵌套运算符的开发。