在 Pyspark 中将事件时间转换为日期和时间？

Question

我的数据框中有以下 event_time

我想将 event_time 转换为 date/time。在下面的代码中使用，但是它没有正常出现

import pyspark.sql.functions as f
df = df.withColumn("date", f.from_unixtime("Event_Time", "dd/MM/yyyy HH:MM:SS"))
df.show()

我的输出低于输出并且输出不正常

我是 pyspark 的新手，有人可以建议如何正确执行此操作吗？

Answer 1

您的数据似乎以微秒为单位（1/1,000,000 秒），因此您必须除以 1,000,000

df  = spark.createDataFrame(
  [
('1645904274665267',),
('1645973845823770',),
('1644134156697560',),
('1644722868485010',),
('1644805678702121',),
('1645071502180365',),
('1644220446396240',),
('1645736052650785',),
('1646006645296010',),
('1644544811297016',),
('1644614023559317',),
('1644291365608571',),
('1645643575551339',)
  ], ['Event_Time']
)

import pyspark.sql.functions as f
df = df.withColumn("date", f.from_unixtime(f.col("Event_Time")/1000000))
df.show(truncate = False)

输出

+----------------+-------------------+
|Event_Time      |date               |
+----------------+-------------------+
|1645904274665267|2022-02-26 20:37:54|
|1645973845823770|2022-02-27 15:57:25|
|1644134156697560|2022-02-06 08:55:56|
|1644722868485010|2022-02-13 04:27:48|
|1644805678702121|2022-02-14 03:27:58|
|1645071502180365|2022-02-17 05:18:22|
|1644220446396240|2022-02-07 08:54:06|
|1645736052650785|2022-02-24 21:54:12|
|1646006645296010|2022-02-28 01:04:05|
|1644544811297016|2022-02-11 03:00:11|
|1644614023559317|2022-02-11 22:13:43|
|1644291365608571|2022-02-08 04:36:05|
|1645643575551339|2022-02-23 20:12:55|
+----------------+-------------------+

在 Pyspark 中将事件时间转换为日期和时间？

Convert event time into date and time in Pyspark?

pyspark

pyspark-pandas