我有一个包含年周列的数据框,我想将其转换为日期。我编写的代码似乎每周都有效,除了“202001”和“202053”周,例如:
df = spark.createDataFrame([
(1, "202001"),
(2, "202002"),
(3, "202003"),
(4, "202052"),
(5, "202053")
], ['id', 'week_year'])
df.withColumn("date", F.to_date(F.col("week_year"), "yyyyw")).show()
这几周我不知道错误是什么或如何修复。如何将 202001 和 202053 周转换为有效日期?
在 Spark 中处理 ISO 周确实是一件令人头疼的事情 - 事实上,这个功能在 Spark 3 中已被弃用(删除?)。我认为在 UDF 中使用 Python 日期时间实用程序是一种更灵活的方法。
import datetime
import pyspark.sql.functions as F
@F.udf('date')
def week_year_to_date(week_year):
# the '1' is for specifying the first day of the week
return datetime.datetime.strptime(week_year + '1', '%G%V%u')
df = spark.createDataFrame([
(1, "202001"),
(2, "202002"),
(3, "202003"),
(4, "202052"),
(5, "202053")
], ['id', 'week_year'])
df.withColumn("date", week_year_to_date('week_year')).show()
+---+---------+----------+
| id|week_year| date|
+---+---------+----------+
| 1| 202001|2019-12-30|
| 2| 202002|2020-01-06|
| 3| 202003|2020-01-13|
| 4| 202052|2020-12-21|
| 5| 202053|2020-12-28|
+---+---------+----------+
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)