如何使用 data.table/dplyr 在两个层次结构中进行高效采样和替换？

我正在尝试使用 data.table/tidyverse 在两个级别上进行有效采样：

1 级是医院 ID（hospital_id )
2 级是医生 ID（doctor_id )

我需要首先从 $N$ 总额中对替换 $N$ 医院进行抽样。 然后我需要从 $M_i$ 总数中抽取为 $i$ 医院工作的替代 $M_i$ 医生进行抽样。

现在，我按如下方式进行操作：我对具有替换的唯一医院 ID 的数据框进行采样。然后我和医生一起去他们工作的医院。然后我由医院集团进行替换采样。

但这会导致连接速度缓慢。有没有一种方法可以更有效地做到这一点？这是我的 data.table 实现，但很乐意以任何方式执行此操作。

# We have a data.frame with one row for every hospital
unique_hospitals_df <- unique(hospital_df[, c("hospital_id")])

# We sample hospitals with replacement at level 1
r_sampled_hospital_ids <- unique_hospitals_df[sample(nrow(unique_hospitals_df),
                      floor(length(unique_hospitals_df) * sample_frac), replace=T), ]

# Now that we have the resampled ID's, we join to the doctors data.frame at level 2
r_df_full <- r_sampled_hospital_ids[,c("hospital_id", "doctor_id")][DT, on = c("hospital_id", "doctor_id"), nomatch = NULL, allow.cartesian = T]

# Now we resample the doctors within each hospital with replacement (level 2)
r_DT_resampled <- r_df_full[, .SD[sample(.N, .N, replace=T)], keyby = hospital_id]

更新：Mnist 要求进一步解释。

dt <- data.table(HOSP = rep(LETTERS[1:5], 1:5),                  DOC = letters[15:1],                  value = 1:15)

这给了我们这些数据：

   HOSP DOC value
 1:    A   o     1
 2:    B   n     2
 3:    B   m     3
 4:    C   l     4
 5:    C   k     5
 6:    C   j     6
 7:    D   i     7
 8:    D   h     8
 9:    D   g     9
10:    D   f    10
11:    E   e    11
12:    E   d    12
13:    E   c    13
14:    E   b    14
15:    E   a    15

所以我们有两个步骤。

1. 我们从 HOSP 中 SWR N 次（其中 N 是数据集中的项目数）。所以我们会得到长度为 15 的 A、B、C、D、E 的混合。
2. 我们对每个 HOSP ID 内的每组 DOC 进行 SWR M 次（其中 M 是医院中 doc 的数量）。因此对于 B，我们将 SWR n 和 m 乘以 2 倍。对于 Hosp C，我们将 SWR l,k,j 3 次等等。
3. 行中的所有其他列最终都应包含在 SWR 操作中。

我希望我理解您想要的结果，但在这里我们首先对医院进行抽样，set.seed(1)我们得到 4xA、4xB 等（参见mn）。然后我们根据这些抽签对医生进行抽样。这意味着我们会得到 4 名医生 o，因为该医院只有一名医生可供采样。对于E医院，我们抽了3次，但由于您的要求是带替换的样品，所以我们碰巧抽到了b医生一次，e医生抽了两次，而其他可用的医生没有抽中。

dt <- data.table(
  HOSP = rep(LETTERS[1:5], 1:5),
  DOC = letters[15:1],
  value = 1:15
)

set.seed(1)

# sample your hospitals and get the counts
mn <- table(sample(unique(dt$HOSP), nrow(dt), replace = TRUE))

# mn
# A B C D E 
# 4 4 3 1 3

# get your doctor sample based on the hospital samples in mn
samples <- data.table(stack(sapply(names(mn), FUN = \(x) dt[HOSP == x, sample(unlist(.SD), mn[x], replace = TRUE), .SDcols = "DOC"])))
setnames(samples, new = c("DOC", "HOSP"))

# join to get the values
samples[dt, on = c("HOSP", "DOC"), nomatch = 0]

#     DOC HOSP value
# 1:    o    A     1
# 2:    o    A     1
# 3:    o    A     1
# 4:    o    A     1
# 5:    n    B     2
# 6:    m    B     3
# 7:    m    B     3
# 8:    m    B     3
# 9:    l    C     4
# 10:   k    C     5
# 11:   j    C     6
# 12:   h    D     8
# 13:   e    E    11
# 14:   e    E    11
# 15:   b    E    14