用 cumsum 填充连续的 NaN，在每个连续的 NaN 上递增 1

Question

给定一个在某个间隔中有很多缺失值的数据帧，我想要的输出数据帧应该从第一个有效值开始用 cumsum 填充所有连续的 NaN，并添加 1 每个 NaN.

鉴于：

shop_id calendar_date quantity
0       2018-12-12      1  
1       2018-12-13      NaN    
2       2018-12-14      NaN    
3       2018-12-15      NaN
4       2018-12-16      1
5       2018-12-17      NaN

期望的输出：

shop_id calendar_date quantity 
0       2018-12-12      1    
1       2018-12-13      2    
2       2018-12-14      3    
3       2018-12-15      4
4       2018-12-16      1
5       2018-12-17      2

Answer 1

使用：

g = (~df.quantity.isnull()).cumsum()
df['quantity'] = df.fillna(1).groupby(g).quantity.cumsum()

      shop_id calendar_date  quantity
0        0    2018-12-12       1.0
1        1    2018-12-13       2.0
2        2    2018-12-14       3.0
3        3    2018-12-15       4.0
4        4    2018-12-16       1.0
5        5    2018-12-17       2.0

详情

使用布尔系列的 .isnull() to check where quantity has valid values, and take the cumsum：

g = (~df.quantity.isnull()).cumsum()

0    1
1    1
2    1
3    1
4    2
5    2

使用fillna 因此，当您按 g 分组并采用 cusmum 时，无论值是什么，值都会增加：

df.fillna(1).groupby(g).quantity.cumsum()
0    1.0
1    2.0
2    3.0
3    4.0
4    1.0
5    2.0

Answer 2

另一种方法？

数据

   shop_id calender_date  quantity
0        0    2018-12-12       1.0
1        1    2018-12-13       NaN
2        2    2018-12-14       NaN
3        3    2018-12-15       NaN
4        4    2018-12-16       1.0
5        5    2018-12-17       NaN
6        6    2018-12-18       NaN
7        7    2018-12-17       NaN

使用np.where

where = np.where(data['quantity'] >= 1)

r = []
for i in range(len(where[0])):
    try:
        r.extend(np.arange(1,where[0][i+1] - where[0][i]+1))
    except:
        r.extend(np.arange(1,len(data)-where[0][i]+1))

data['quantity'] = r

打印（数据）

   shop_id calender_date  quantity
0        0    2018-12-12         1
1        1    2018-12-13         2
2        2    2018-12-14         3
3        3    2018-12-15         4
4        4    2018-12-16         1
5        5    2018-12-17         2
6        6    2018-12-18         3
7        7    2018-12-17         4

用 cumsum 填充连续的 NaN，在每个连续的 NaN 上递增 1

Fill consecutive NaNs with cumsum, to increment by one on each consecutive NaN

missing-data

dataframe

cumulative-sum

pandas