带数据框的 AWS Glue 中的最新字符串

Question

我正在尝试 convert/cast 数据框中的一列从字符串到日期但没有成功，这是代码的一部分：

from pyspark.sql.functions import from_unixtime, unix_timestamp, col
from datetime import datetime

## Dynamyc Frame to Data Frame
df = Transform0.toDF()

## Substring of time column
## Before: "Thu Sep 03 2020 01:43:52 GMT+0000 (Coordinated Universal Time)""
df = df.withColumn('date_str', substring(df['time'],5,20))
## After: "Sep 03 2020 01:43:52"

## I have tried the following statements with no success
## I use show() in order to see in logs the result

df.withColumn('date_str', datetime.strptime('date_str', '%b %d %Y %H:%M:%S')).show()
df.withColumn(col('date_str'), from_unixtime(unix_timestamp(col('date_str'),"%b %d %Y %H:%M:%S"))).show()
df.withColumn('date_str', to_timestamp('date_str', '%b %d %Y %H:%M:%S')).show()

Answer 1

您应该将其分配给另一个数据框变量。

例如：

df = df.withColumn(column, from_unixtime(unix_timestamp(col('date_str'), 'yyyy/MM/dd hh:mm:ss')).cast(
                    types.TimestampType()))
df.show()

Answer 2

尝试使用 spark datetime 格式，同时使用 spark 函数 to_timestamp()...etc 函数。

Example:

 df.show()
#+--------------------+
#|                  ts|
#+--------------------+
#|Sep 03 2020 01:43:52|
#+--------------------+

df.withColumn("ts1",to_timestamp(col("ts"),"MMM dd yyyy hh:mm:ss")).show()
#+--------------------+-------------------+
#|                  ts|                ts1|
#+--------------------+-------------------+
#|Sep 03 2020 01:43:52|2020-09-03 01:43:52|
#+--------------------+-------------------+

带数据框的 AWS Glue 中的最新字符串

String to Date in AWS Glue with Data Frames

python

casting

dataframe

pyspark

aws-glue