我有一个专栏date
在 pySpark 数据框中,日期格式如下:
2018-02-01T13:13:12.023507
我想将该列中的日期从字符串转换为时间戳(或者我可以根据日期对其进行排序的内容)。到目前为止,我已经尝试过以下方法:
new_df = df.withColumn(
'date',
unix_timestamp("date", "YYYY-MM-DD'T'hh:mm:ss.s").cast("double").cast("timestamp")
)
和这个
new_df = df.withColumn(
'date',
from_unixtime(
unix_timestamp(col(('date')), "yyyy-MM-dd'T'hh:mm:ss.SSS"),
"yyyy-MM-dd'T'HH:mm:ss.SSS"
)
)
和这个
df_new = df.withColumn(
'date1',
F.to_timestamp("date", "yyyy-dd-MM'T'hh:mm:ss.s")
)
我尝试了在其他类似问题中找到的所有内容,但到目前为止没有任何效果。我也尝试过不同的格式yyyy-MM-dd'T'HH:mm:ss.ssssss
没有成功。我缺少什么?
对于 Spark >= 2.2 的替代方法unix_timestamp()
是通过使用to_timestamp()
:
from pyspark.sql.functions import col, to_timestamp
new_df = df.withColumn('converted_date',to_timestamp(col('date'), "yyyy-MM-dd'T'HH:mm:ss"))
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)