PySpark 中是否有任何函数可以提供 "minute of day"?
Is there any functions in PySpark to give the "minute of day"?
我有一个带有时间戳的列。
我想知道是否有一个函数可以为每个时间戳提供 "minute of day"。
我正在寻找一个函数来给我一个整数作为答案,它显示从一天开始的 00:00 已经过去了多少分钟。
比如Timestamp of 00:15 应该变成15 or Timestamp of 01:05 应该变成65 or Timestamp of 03:15 应该变成195. (基本上应该做HH*60 + MM)
在下面的 link 中,我可以找到一个显示 "day of year" 的函数,但我找不到 "minute of day"
的任何函数
提前致谢!
按照您建议的方式组合 PySpark SQL 函数 hour and minute:
In [1]: df = spark.createDataFrame([('2015-04-08 13:08:15',)], ['ts'])
df.
In [2]: from pyspark.sql.functions import hour, minute
In [3]: df.withColumn("minutes_since_midnight", hour(df.ts)*60 + minute(df.ts)).show()
+-------------------+----------------------+
| ts|minutes_since_midnight|
+-------------------+----------------------+
|2015-04-08 13:08:15| 788|
+-------------------+----------------------+
我有一个带有时间戳的列。 我想知道是否有一个函数可以为每个时间戳提供 "minute of day"。 我正在寻找一个函数来给我一个整数作为答案,它显示从一天开始的 00:00 已经过去了多少分钟。 比如Timestamp of 00:15 应该变成15 or Timestamp of 01:05 应该变成65 or Timestamp of 03:15 应该变成195. (基本上应该做HH*60 + MM)
在下面的 link 中,我可以找到一个显示 "day of year" 的函数,但我找不到 "minute of day"
的任何函数提前致谢!
按照您建议的方式组合 PySpark SQL 函数 hour and minute:
In [1]: df = spark.createDataFrame([('2015-04-08 13:08:15',)], ['ts'])
df.
In [2]: from pyspark.sql.functions import hour, minute
In [3]: df.withColumn("minutes_since_midnight", hour(df.ts)*60 + minute(df.ts)).show()
+-------------------+----------------------+
| ts|minutes_since_midnight|
+-------------------+----------------------+
|2015-04-08 13:08:15| 788|
+-------------------+----------------------+