在 Pandas DataFrame 中合并给定索引值的连续行

Question

我正在使用 tabula-py 从 PDF 中提取 tables。但是在 table 中，有些行不止一行，但在 tabula-py 中，单个 table 行在 DataFrame 中被转换为多行。我在这里举个例子。

    Serial No.  Name    Type    Total
0   1   Easter         Multiple    19   
1   2   Costeri        Roundabout  16   
2   3   Zhiop            Tee       16   
3   4   Nesss           Cross      10   
4   5   Uoar Lhahara    Tee        10   
5   6   Trino Nishra (KX) Tee       9   
6   7   Old-FX Box      Cross       8
7   8   Gardeners    Roundabout     8   
8   9   Max Detter   Roundabout     7   
9   NaN Others (Asynco, NaN        NaN  
10  10  D+ E,           Cross       7   
11  NaN etc)            NaN        NaN

如果您查看示例，您会发现索引 9、10 和 11 中的行实际上是一行。 table（pdf 格式）中有多行。此 table 有超过 100 行，并且至少有 12 个地方发生了这些问题。有些地方是连续两行，有些地方是连续三行。我们如何将这些行与索引值合并？

Answer 1

你可以试试：

df['Serial No.'] = df['Serial No.'].bfill().ffill()
df['Total'] = df['Total'].astype(str).replace('nan', np.nan)

df_out = df.groupby('Serial No.', as_index=False).agg(lambda x: ''.join(x.dropna()))
df_out['Total'] = df_out['Total'].replace('', np.nan, regex=True).astype(float)

结果：

print(df_out)

   Serial No.                      Name        Type  Total
0         1.0                    Easter    Multiple   19.0
1         2.0                   Costeri  Roundabout   16.0
2         3.0                     Zhiop         Tee   16.0
3         4.0                     Nesss       Cross   10.0
4         5.0              Uoar Lhahara         Tee   10.0
5         6.0          Trino Nishra(KX)         Tee    9.0
6         7.0                Old-FX Box       Cross    8.0
7         8.0                 Gardeners  Roundabout    8.0
8         9.0                Max Detter  Roundabout    7.0
9        10.0  Others (Asynco,D+ E,etc)       Cross    7.0

在 Pandas DataFrame 中合并给定索引值的连续行

Combine Consecutive Rows for given index values in Pandas DataFrame

python

dataframe

pandas

tabula-py