想要从 Spark 上下文('sc')中删除单个数据表。我知道单个缓存表可以取消缓存,但这与从 sc 中删除对象不同——据我所知。
library(sparklyr)
library(dplyr)
library(titanic)
library(Lahman)
spark_install(version = "2.0.0")
sc <- spark_connect(master = "local")
batting_tbl <- copy_to(sc, Lahman::Batting, "batting")
titanic_tbl <- copy_to(sc, titanic_train, "titanic", overwrite = TRUE)
src_tbls(sc)
# [1] "batting" "titanic"
tbl_cache(sc, "batting") # Speeds up computations -- loaded into memory
src_tbls(sc)
# [1] "batting" "titanic"
tbl_uncache(sc, "batting")
src_tbls(sc)
# [1] "batting" "titanic"
要断开整个 sc,我会使用spark_disconnect(sc)
,但在本例中,它将破坏存储在 sc 内的“titanic”和“batting”表。
相反,我想删除例如“击球”之类的内容spark_disconnect(sc, tableToRemove = "batting")
,但这似乎不可能。
dplyr::db_drop_table(sc, "batting")
我尝试了这个功能,似乎有效。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)