提高 R 代码有效性的技巧

我正在使用 Reddit 的 API（“Pushshift”）编写一个循环（在 R 中）来抓取 Reddit 帖子。

本质上，我希望每小时获取从现在到 20,000 小时前包含“特朗普”一词的所有评论。 API 将注释存储在 JSON 框架中 - 我在 R 中编写了以下代码来获取这些注释（注意 - 我这样做是为了在每 200 次迭代后保存结果，以防崩溃）：

library(jsonlite)

part1 = "https://api.pushshift.io/reddit/search/comment/?q=trump&after="    
part2 = "h&before="
part3 = "h&size=500"

results = list()
for (i in 1:20000)
{tryCatch({
    {
        url_i<-  paste0(part1, i+1,  part2, i,  part3)
        r_i <-  data.frame(fromJSON(url_i))
        results[[i]] <- r_i

myvec_i <- sapply(results, NROW)

print(c(i, sum(myvec_i))) 
       
        ifelse(i %% 200 == 0, saveRDS(results, "results_index.RDS"), "" )
    }
}, error = function(e){})
}
final = do.call(rbind.data.frame, results)
saveRDS(final, "final.RDS")

该代码可以运行 - 但我正在寻找提高该代码的速度和效率的技巧。例如，我注意到：

• 有时，这段代码在某些迭代上似乎需要很长时间
• 我还有一种感觉，随着“列表”的规模越来越大，R 的全局环境变得更加完整，事情也在放缓。
• 有时，网络抓取停止收集新结果（即我添加了一个语句，显示每次迭代收集的结果的累积数量 - 有时，该数字停止更新）
• 我使用“tryCatch()”来跳过错误以防止循环崩溃 - 但也许有某种方法可以解决这个问题，这可能会导致更多的 Reddit 评论被删除？

有人可以推荐一些关于如何优化和加速此代码的技巧吗？也许有人可以尝试运行这段代码并让我知道他们的想法？

谢谢你！

您可以做两件事：1）在每次迭代时将 data.frame 保存到“.RData 文件”中。执行此操作时，您需要的内存较少，因为您不在 RAM 中存储数据 2) 使用并行计算。这是一个例子：

library(parallel)
library(doParallel)
library(RSelenium)

fn_Par <- function(core_Id, all_Index, list_remDr, nb_Core)
{
  library(jsonlite)
  library(RSelenium)
  remDr <- list_remDr[[core_Id]]
  remDr$open()

  setwd("D:\\")
  part1 <- "https://api.pushshift.io/reddit/search/comment/?q=trump&after="    
  part2 <- "h&before="
  part3 <- "h&size=500"
  
  nb_Index_All <- length(all_Index)
  nb_Id_Per_Core <- floor(nb_Index_All / nb_Core)
  index_To_Extract <- all_Index[(1 + (core_Id - 1) * nb_Id_Per_Core) : min((core_Id * nb_Id_Per_Core), nb_Index_All)]

  for(i in index_To_Extract)
  {
    url_i <-  paste0(part1, i + 1,  part2, i,  part3)
    remDr$navigate(url_i)
    Sys.sleep(0.5)
    web_Obj <- remDr$findElement("css selector", 'body > pre')
    r_i <-  tryCatch(data.frame(fromJSON(web_Obj$getElementText()[[1]])), error = function(e) NA)

    if(is.null(dim(r_i)) == FALSE)
    {
      Sys.sleep(10)
      remDr$navigate(url_i)
      web_Obj <- remDr$findElement("css selector", 'body > pre')
      r_i <-  tryCatch(data.frame(fromJSON(web_Obj$getElementText()[[1]])), error = function(e) NA)
    }
    
    save(r_i, file = paste0(i, "_core_Id_", core_Id, ".RData"))
    Sys.sleep(0.5)
  }
}

nb_CPU <- 4
cluster <- parallel::makeCluster(nb_CPU)
doParallel::registerDoParallel(cl = cluster)

list_remDr <- list()
list_rd <- list()

for(i in 1 : nb_CPU)
{
  print(i)
  port <- as.integer(4444L + rpois(lambda = 1000, 1))
  list_rd[[i]] <- rsDriver(chromever = "105.0.5195.52", browser = "chrome", port = port)
  list_remDr[[i]] <- list_rd[[i]]$client
}

parLapply(cluster, X = 1 : nb_CPU, fun = fn_Par, all_Index = 1 : 2000, list_remDr = list_remDr, nb_Core = nb_CPU)