使用 Spark SQL 将字符串格式化为日期时间

Format string to datetime using Spark SQL

我正在尝试使用 spark sql 转换和重新格式化存储为字符串的日期列,看起来像这样...

30/03/20 02:00

日期时间列,看起来像这样...

2020-03-30 02:00 ('YYYY-MM-dd HH:mm')

我没有使用 python,只是在 DBeaver 中直接将 sql 写入 spark 数据湖。非常感谢任何帮助。

使用to_timestamp to parse string date into timestamp column and date_format将其格式化为所需的模式:

select date_format(to_timestamp(sting_date, 'dd/MM/yy HH:mm'), 'yyyy-MM-dd HH:mm') as date