在 pandas 中使用 groupby/agg 的奇怪时区行为

Question

我运行遇到了一些奇怪的行为，试图按 ID 对 pandas 数据帧的行进行分组，然后选择 max/min 日期时间（带时区）。这是 pandas 0.18.1 和 numpy 1.11.1（我在之前的帖子中看到类似的问题显然已通过 pandas 0.15 修复）。

具体来说，如果我尝试：

print orders.groupby('OrderID')['start_time'].agg(np.min).iloc[:5]

我得到：

OrderID
O161101XVS100000044   2016-11-01 12:03:12.920000-04:00
O161101XVS100000047   2016-11-01 12:03:36.693000-04:00
O161101XVS100000098   2016-11-01 12:09:08.330000-04:00
O161101XVS100000122   2016-11-01 12:09:59.950000-04:00
O161101XVS100000152   2016-11-01 12:11:29.790000-04:00
Name: start_time, dtype: datetime64[ns, US/Eastern]

原始数据的时间接近上午 8 点 (US/Eastern)。换句话说，它恢复到 UTC 时间，即使它说它是东部时间，并且有 UTC-4 偏移量。

但如果我改为尝试：

print orders.groupby('OrderID')['start_time'].agg(lambda x: np.min(x)).iloc[:5]

我现在得到：

OrderID
O161101XVS100000044   2016-11-01 08:03:12.920000-04:00
O161101XVS100000047   2016-11-01 08:03:36.693000-04:00
O161101XVS100000098   2016-11-01 08:09:08.330000-04:00
O161101XVS100000122   2016-11-01 08:09:59.950000-04:00
O161101XVS100000152   2016-11-01 08:11:29.790000-04:00
Name: start_time, dtype: datetime64[ns, US/Eastern]

这是我想要的行为。第二种方法要慢得多，我本以为这两种方法会产生相同的结果……

Answer 1

我可以确认此行为。问题出在 pandas/types/cast/_possibly_downcast_to_dtype()。计算作为 i8 完成，然后转换回时区感知 datetime。但是这一行：

result = to_datetime(result).tz_localize(dtype.tz)

需要这样：

result = to_datetime(result).tz_localize('utc')
result = result.tz_convert(dtype.tz)

更新：

我已提交 PR 来解决此问题。

更新二：

PR 已经 merged，应该在 0.20.0

在 pandas 中使用 groupby/agg 的奇怪时区行为

Odd timezone behavior using groupby/agg in pandas

python

timezone

numpy

pandas

datetime64