问题是sparklyr
不正确支持 SparkDateType
。可以解析日期和正确的格式,但不能正确表示这些DateType
列。如果这足够了,请按照以下说明进行操作。
在Spark 2.2或更高版本中使用to_date
与JavaSimpleDataFormat
兼容字符串:
df <- copy_to(sc, data.frame(date=c("01/01/2010")))
parsed <- df %>% mutate(date_parsed = to_date(date, "MM/dd/yyyy"))
parsed
# Source: lazy query [?? x 2]
# Database: spark_connection
date date_parsed
<chr> <chr>
1 01/15/2010 2010-01-15
有趣的是内部 Spark 对象仍然使用DateType
列:
parsed %>% spark_dataframe
<jobj[120]>
class org.apache.spark.sql.Dataset
[date: string, date_parsed: date]
对于早期版本unix_timestamp
and cast
(但要注意可能的时区问题):
df %>%
mutate(date_parsed = sql(
"CAST(CAST(unix_timestamp(date, 'MM/dd/yyyy') AS timestamp) AS date)"))
# Source: lazy query [?? x 2]
# Database: spark_connection
date date_parsed
<chr> <chr>
1 01/15/2010 2010-01-15
Edit:
看起来这个问题已经在当前的 master 上解决了(sparklyr_0.7.0-9105
):
# Source: lazy query [?? x 2]
# Database: spark_connection
date date_parsed
<chr> <date>
1 01/01/2010 2009-12-31