weekofyear() 返回 1 月 1 日看似不正确的结果
weekofyear() returning seemingly incorrect results for January 1
我不太清楚为什么我的代码给出 52 作为 weekofyear("01/JAN/2017")
的答案。
有人对此有可能的解释吗?有更好的方法吗?
from pyspark.sql import SparkSession, functions
spark = SparkSession.builder.appName('weekOfYear').getOrCreate()
from pyspark.sql.functions import to_date
df = spark.createDataFrame(
[(1, "01/JAN/2017"), (2, "15/FEB/2017")], ("id", "date"))
df.show()
+---+-----------+
| id| date|
+---+-----------+
| 1|01/JAN/2017|
| 2|15/FEB/2017|
+---+-----------+
计算一年中的第几周
df=df.withColumn("weekofyear", functions.weekofyear(to_date(df["date"],"dd/MMM/yyyy")))
df.printSchema()
root
|-- id: long (nullable = true)
|-- date: string (nullable = true)
|-- weekofyear: integer (nullable = true)
df.show()
'error' 如下所示:
+---+-----------+----------+
| id| date|weekofyear|
+---+-----------+----------+
| 1|01/JAN/2017| 52|
| 2|15/FEB/2017| 7|
+---+-----------+----------+
如果星期几是星期一到星期四,weekofyear()
似乎只会 return 1 月 1 日。
为了确认,我创建了一个 DataFrame,其中包含从 1900 年到 2018 年的所有 "01/JAN/YYYY"
:
df = sqlCtx.createDataFrame(
[(1, "01/JAN/{y}".format(y=year),) for year in range(1900,2019)],
["id", "date"]
)
现在让我们将其转换为日期,获取星期几,并计算 weekofyear()
:
的值
import pyspark.sql.functions as f
df.withColumn("d", f.to_date(f.from_unixtime(f.unix_timestamp('date', "dd/MMM/yyyy"))))\
.withColumn("weekofyear", f.weekofyear("d"))\
.withColumn("dayofweek", f.date_format("d", "E"))\
.groupBy("dayofweek", "weekofyear")\
.count()\
.show()
#+---------+----------+-----+
#|dayofweek|weekofyear|count|
#+---------+----------+-----+
#| Sun| 52| 17|
#| Mon| 1| 18|
#| Tue| 1| 17|
#| Wed| 1| 17|
#| Thu| 1| 17|
#| Fri| 53| 17|
#| Sat| 53| 4|
#| Sat| 52| 12|
#+---------+----------+-----+
注意,我使用的是 Spark v 2.1,其中 to_date()
does not accept a format argument, so I had to use the method described in 将字符串转换为日期。
同样 to_date()
只有 returns 1 for:
- 1 月 2 日,如果星期几是星期一到星期五。
- 1 月 3 日,如果星期几是星期一到星期六。
更新
此行为符合 ISO 8601 定义。
我不太清楚为什么我的代码给出 52 作为 weekofyear("01/JAN/2017")
的答案。
有人对此有可能的解释吗?有更好的方法吗?
from pyspark.sql import SparkSession, functions
spark = SparkSession.builder.appName('weekOfYear').getOrCreate()
from pyspark.sql.functions import to_date
df = spark.createDataFrame(
[(1, "01/JAN/2017"), (2, "15/FEB/2017")], ("id", "date"))
df.show()
+---+-----------+
| id| date|
+---+-----------+
| 1|01/JAN/2017|
| 2|15/FEB/2017|
+---+-----------+
计算一年中的第几周
df=df.withColumn("weekofyear", functions.weekofyear(to_date(df["date"],"dd/MMM/yyyy")))
df.printSchema()
root
|-- id: long (nullable = true)
|-- date: string (nullable = true)
|-- weekofyear: integer (nullable = true)
df.show()
'error' 如下所示:
+---+-----------+----------+
| id| date|weekofyear|
+---+-----------+----------+
| 1|01/JAN/2017| 52|
| 2|15/FEB/2017| 7|
+---+-----------+----------+
如果星期几是星期一到星期四,weekofyear()
似乎只会 return 1 月 1 日。
为了确认,我创建了一个 DataFrame,其中包含从 1900 年到 2018 年的所有 "01/JAN/YYYY"
:
df = sqlCtx.createDataFrame(
[(1, "01/JAN/{y}".format(y=year),) for year in range(1900,2019)],
["id", "date"]
)
现在让我们将其转换为日期,获取星期几,并计算 weekofyear()
:
import pyspark.sql.functions as f
df.withColumn("d", f.to_date(f.from_unixtime(f.unix_timestamp('date', "dd/MMM/yyyy"))))\
.withColumn("weekofyear", f.weekofyear("d"))\
.withColumn("dayofweek", f.date_format("d", "E"))\
.groupBy("dayofweek", "weekofyear")\
.count()\
.show()
#+---------+----------+-----+
#|dayofweek|weekofyear|count|
#+---------+----------+-----+
#| Sun| 52| 17|
#| Mon| 1| 18|
#| Tue| 1| 17|
#| Wed| 1| 17|
#| Thu| 1| 17|
#| Fri| 53| 17|
#| Sat| 53| 4|
#| Sat| 52| 12|
#+---------+----------+-----+
注意,我使用的是 Spark v 2.1,其中 to_date()
does not accept a format argument, so I had to use the method described in
同样 to_date()
只有 returns 1 for:
- 1 月 2 日,如果星期几是星期一到星期五。
- 1 月 3 日,如果星期几是星期一到星期六。
更新
此行为符合 ISO 8601 定义。