Pandas: Select 一周中最高的一天，不包括周末，除非有一个记录

Question

我有一个带日期的数据框，我想 select 每周的最高日期，不包括周末（所以周五，如果有的话），除非没有周一到周五的数据并且 Saturday/Sunday 是唯一可用的。

示例数据可以这样设置：

dates = pd.Series(data=['2018-11-05', '2018-11-06', '2018-11-07', '2018-11-08', '2018-11-09',
                        '2018-11-12', '2018-11-13', '2018-11-14', '2018-11-15', '2018-11-17',
                        '2018-11-19',
                        '2018-12-01',
                        ])
nums = np.random.randint(50, 100, 12)
# nums
# array([95, 80, 81, 51, 98, 62, 50, 55, 59, 77, 69])

df = pd.DataFrame(data={'dates': dates, 'nums': nums})
df['dates'] = pd.to_datetime(df['dates'])

我要的记录：

2018-11-09 是星期五
2018-11-15 是星期四（不是 2018-11-17 因为是星期六）
2018-11-19 是星期一，也是那一周的唯一记录
2018-12-01 是星期六但是那一周的唯一记录

我目前的解决方案在中，但我认为它不是理想的并且有一些我必须解决的问题。简而言之，它是：

按周分组：df.groupby(df['dates'].dt.week).apply(some_function)
如果那一周只有一个记录，return它
否则，select highest/latest 天 <= 星期五且 return 的记录

理想情况下，我想要一种写法：

[latest Mon-Fri record] if [has Mon-Fri record] else [latest Sat-Sun record]

Answer 1

我写了一个函数来 select 一周的有效最高记录，需要在每周 groupby 上使用：

def last_valid_report(recs):
    if len(recs) == 1:
        return recs
    recs = recs.copy()
    # recs = recs[recs['dates'].dt.weekday <= 4].nlargest(1, recs['dates'].dt.weekday)  # doesn't work
    recs['weekday'] = recs['dates'].dt.weekday  # because nlargest() needs a column name
    recs = recs[recs['weekday'] <= 4].nlargest(1, 'weekday')
    del recs['weekday']
    return recs
    # could have also done:
    # return recs[recs['weekday'] <= 4].nlargest(1, 'weekday').drop('weekday', axis=1)

用正确的组调用它，我得到：

In [155]: df2 = df.groupby(df['dates'].dt.week).apply(last_valid_report)

In [156]: df2
Out[156]:
              dates  nums
dates
45    4  2018-11-09    63
46    8  2018-11-15    90
47    10 2018-11-19    80
48    11 2018-12-01    94

几个问题：

如果我不输入 recs.copy()，我会得到 ValueError: Shape of passed values is (3, 12), indices imply (3, 4)
pandas' nlargest 将只使用列名，而不是表达式。
- 所以我需要在函数中创建一个额外的列并在返回它之前 drop/delete 它。 我也可以在原始 df 中创建它并将其放在 .apply().

我从 groupby+apply and needs to be :

得到了一个额外的索引列 'dates',
In [157]: df2.index = df2.index.droplevel(); df2 Out[157]: dates nums 4 2018-11-09 63 8 2018-11-15 90 10 2018-11-19 80 11 2018-12-01 94

如果我得到周六和周日数据（2天）的记录，我需要添加检查recs[recs['weekday'] <= 4]是否为空然后只使用.nlargest(1, 'weekday')而不过滤出 weekday <= 4；但这不是问题的重点。

Answer 2

创建一个新的工作日层次结构，其中周六和周日的优先级最低。然后 sort_values 在这个新排名上 + groupby + .tail(1).

import numpy as np

wd_map = dict(zip(np.arange(0,7,1), np.roll(np.arange(0,7,1),-2)))
# {0: 2, 1: 3, 2: 4, 3: 5, 4: 6, 5: 0, 6: 1}
df = df.assign(day_mapped = df.dates.dt.weekday.map(wd_map)).sort_values('day_mapped')

df.groupby(df.dates.dt.week).tail(1).sort_index()

输出

        dates  nums  day_mapped
4  2018-11-09    57           6
8  2018-11-15    83           5
10 2018-11-19    96           2
11 2018-12-01    66           0

如果您的数据跨越多年，则需要对 Year + week 进行分组。

Pandas: Select 一周中最高的一天，不包括周末，除非有一个记录

Pandas: Select highest day of the week, excluding weekends, unless one record

python

pandas

pandas-groupby

dayofweek

week-number

输出