如何在pyspark中将日期时间从字符串格式转换为日期时间格式?

2024-01-21

我使用 sqlContext 创建了一个数据框,但日期时间格式有问题,因为它被识别为字符串。

df2 = sqlContext.createDataFrame(i[1])
df2.show
df2.printSchema()

Result:

2016-07-05T17:42:55.238544+0900
2016-07-05T17:17:38.842567+0900
2016-06-16T19:54:09.546626+0900
2016-07-05T17:27:29.227750+0900
2016-07-05T18:44:12.319332+0900

string (nullable = true)

由于日期时间模式是一个字符串,我想将其更改为日期时间格式,如下所示:

df3 =  df2.withColumn('_1', df2['_1'].cast(datetime()))

这里我得到一个错误: 类型错误:未找到所需参数“年份”(位置 1)

我应该怎么做才能解决这个问题?


尝试这个:

from pyspark.sql.types import DateType
ndf = df2.withColumn('_1', df2['_1'].cast(DateType()))
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何在pyspark中将日期时间从字符串格式转换为日期时间格式? 的相关文章

随机推荐