如何在 dask 数据框中添加反映日期值（来自列）是否为假期成员的列

Question

我有一个大型时间序列数据集（3.5 亿行，15GB）和日期时间（半小时分辨率）。

因此，我正在使用 dask 来尽可能多地处理和并行化。

我被困在了本应是微不足道的任务中。我有一个假期日期列表，使用假期包创建：

NSWholidays = holidays.Australia(years= [2010,2011,2012,2013,2014], state='NSW')

我的 dask 数据框中有一个 'date' 列。

我想添加一个名为 'IsWorkDay' 的新列，其中 1 表示非假期的日子，即从周一到周五，0 表示周末或假期。

我已经尝试了几十种组合，试图找到 dask 的要求所需的语法来并行化这个，但我设法开始工作的唯一解决方案是使用 .apply，这对于任务来说非常慢（多个小时） .简而言之，下面的行有效但速度太慢：

SGSCData['IsWorkDay'] = SGSCData.apply(lambda row: int(row.weekday<6 and not row.Date in NSWholidays), axis=1, meta=(None, 'int64'))

我怎样才能让它更快？

提前致谢

Answer 1

首先我不太确定你周末的逻辑。无论如何，这是我在不使用 apply 或 map_partitions 的情况下能够做到的。我的 dask.__version__ 是 1.1.1。正如您所看到的，使用与在 pandas 中使用的完全相同的矢量解决方案，您的计算在 Intel(R) Core(TM) i7-7700HQ CPU @ 2.80GHz

上花费的时间少于 15s

import pandas as pd
import holidays
import dask.dataframe as dd
NSWholidays = holidays.Australia(years=list(range(2010,2021)), state='NSW')
# this is slightly more than 31.5M rows
dates = pd.date_range(start='2010-01-01', end='2020-01-01', freq="10S")
ddf = pd.DataFrame({"Date":dates})
ddf = dd.from_pandas(ddf, npartitions=10)

ddf["IsWorkDay"] = (~((ddf["Date"].dt.weekday>=5) | 
                      (ddf["Date"].dt.date.isin(NSWholidays)))).astype(int)

%%time
ddf = ddf.compute()

CPU times: user 1.07 s, sys: 1.48 s, total: 2.55 s
Wall time: 13.9 s

如何在 dask 数据框中添加反映日期值（来自列）是否为假期成员的列

How to add column in dask dataframe that reflecs whether date value (from column) is member of holidays

python

python-datetime

pandas

dask