“欺骗” SQL Server 接受来自 R 的文件

我在 R 的本地环境中有一个文件（大约 1000000 行和 15 列），我正在尝试将此文件上传到 SQL 服务器：

library(odbc)
library(DBI)
library(RODBC)

dbWriteTable(my_connection,  SQL("my_table"), my_table)

但我无法将整个表上传到服务器，当我运行此代码时，出现错误：

Error in result_insert_dataframe(rs@prt, values):  nanodbc/nanodbc.cpp:1587 : HY008 : Operation canceled

但是，我注意到我能够成功将此表的“部分”上传到服务器上：

#this works fine

my_table_1 = my_table[1:1000,]

dbWriteTable(my_connection,  SQL("my_table_1"), my_table_1)

这让我相信“my_table”中的某个地方有一些行未被服务器接受 - 但我不确定如何正确识别这些行。

• 有没有办法找出哪些行导致了问题，或者有没有办法“欺骗”/“强制”服务器接受这些行？

以下是 R（全局环境）中文件的摘要（“str”命令）：

- var1 : chr
- var2: chr
- var3: chr
- var4: chr
- var 5: chr
- var6: chr
- var7: chr
- var8: chr
- var9: chr
- var10: chr
- var11:chr
- var12:num
- var13:num
- var14:num
- var15: chr

以下是该文件的前 100 行变量类型的摘要，这些行已成功上传到 SQL：

- var1 : CHARACTER VARRYING (255)
    - var2: CHARACTER VARRYING (255)
    - var3: CHARACTER VARRYING (255)
    - var4: CHARACTER VARRYING (255)
    - var 5: CHARACTER VARRYING (255)
    - var6: CHARACTER VARRYING (255)
    - var7: CHARACTER VARRYING (255)
    - var8: CHARACTER VARRYING (255)
    - var9: CHARACTER VARRYING (255)
    - var10: CHARACTER VARRYING (255)
    - var11:CHARACTER VARRYING (255)
    - var12:DOUBLE PERCISION 
    - var13:DOUBLE PERCISION 
    - var14:DOUBLE PERCISION 
    - var15: CHARACTER VARRYING (255)

基于这些总结：

• 有没有办法找出哪些行导致了问题，或者有没有办法“欺骗”/“强制”服务器接受这些行？

谢谢你！

您的数据集可能太大，无法通过单个操作将其写入数据库。我记得不久前也遇到过类似的问题，这是有道理的，因为一次 1000 行似乎对你有用。将数据集分割成块并一一写入可能会起作用。

这是未经测试的，但也许这有效：

my_table_chunks <- 
  split(my_table, ceiling(seq_along(1:nrow(my_table))/1000))
  
lapply(my_table_chunks,
       function(x) dbWriteTable(my_connection,  SQL("my_table"), x), append = TRUE)

如果您确实有权访问数据库控制台或管理 UI，那么以这种方式导入数据可能会更快。

A similar https://stackoverflow.com/a/7354416/4821142此处建议使用 SQL 解决方案。