我可以将格式和路径选项传递到spark_write_table中吗？或者将 saveAsTable 与 Spark_write_orc 一起使用？

Spark 2.0 与 Hive

假设我正在尝试编写一个 Spark 数据框，irisDf to orc and将其保存到 hive 元存储

在 Spark 中我会这样做，

irisDf.write.format("orc")
    .mode("overwrite")
    .option("path", "s3://my_bucket/iris/")
    .saveAsTable("my_database.iris")

In sparklyr我可以使用spark_write_table功能，

data("iris")
iris_spark <- copy_to(sc, iris, name = "iris")
output <- spark_write_table(
   iris
  ,name = 'my_database.iris'
  ,mode = 'overwrite'
)

但这不允许我设置path or format

我也可以使用spark_write_orc

spark_write_orc(
    iris
  , path = "s3://my_bucket/iris/"
  , mode = "overwrite"
)

但它没有saveAsTable option

现在，我可以使用invoke复制 Spark 代码的语句，

  sdf <- spark_dataframe(iris_spark)
  writer <- invoke(sdf, "write")
  writer %>% 
    invoke('format', 'orc') %>% 
    invoke('mode', 'overwrite') %>% 
    invoke('option','path', "s3://my_bucket/iris/") %>% 
    invoke('saveAsTable',"my_database.iris")

但我想知道是否有办法可以通过format and path选项进入spark_write_table or the saveAsTable选择进入spark_write_orc?

path可以使用设置options参数，相当于options调用本地人DataFrameWriter:

spark_write_table(
  iris_spark, name = 'my_database.iris', mode = 'overwrite', 
  options = list(path = "s3a://my_bucket/iris/")
)

默认情况下，在 Spark 中，这将创建一个表，存储为Parquet https://en.wikipedia.org/wiki/Apache_Parquet at path（分区子目录可以用partition_by争论）。

截至今天，没有这样的格式选项，但一个简单的解决方法是设置spark.sessionState.conf.defaultDataSourceName属性，无论是在运行时

spark_session_config(
  sc, "spark.sessionState.conf.defaultDataSourceName", "orc"
)

或者当您创建会话时。