fill_null() 值与其他列数据

Question

我有一个关于填充空值的问题，是否可以像 pandas 中那样从其他列回填数据？

关于如何回填数据的工作 pandas 示例：

df.loc[:, ['A', 'B', 'C']] = df[['A', 'B', 'C']].fillna(
    value={'A': df['D'],
           'B': df['D'],
           'C': df['D'],
           })

Polars 示例，如果值为空，我尝试将数据从 D 列回填到 A 列，但它不起作用：

df = pl.DataFrame(
        {"date": ["2020-01-01 00:00:00", "2020-01-07 00:00:00", "2020-01-14 00:00:00"],
        "A": [3, 4, 7],
        "B": [3, 4, 5],
        "C": [0, 1, 2],
        "D": [1, 2, 5]})
df = df.with_column(pl.col("date").str.strptime(pl.Datetime, "%Y-%m-%d %H:%M:%S"))
date_range = df.select(pl.arange(df["date"][0], df["date"]
                        [-1] + 1, step=1000*60*60*24).cast(pl.Datetime).alias("date"))
df = (date_range.join(df, on="date", how="left"))
df['D'] = df['D'].fill_null("forward")
print(df)
df[:, ['A']] = df[['A']].fill_null({
    'A': df['D']
    }
)
print(df)

亲切的问候，汤姆

Answer 1

fillna()方法用于填充pandas中的空值。

df['D'] = df['D'].fillna(df['A'].mean())

以上代码会将 D 列的空值替换为 A 列的平均值。

Answer 2

在您展示的示例和随附的 pandas 代码中。 fillna 不填充任何空值，因为其他列也是 NaN。所以我假设您想用另一列没有缺失值的值来填充缺失值，但如果我错了请纠正我。

import polars as pl
from polars import col

df = pl.DataFrame({
    "a": [0, 1, 2, 3, None, 5, 6, None, 8, None],
    "b": range(10),
})

out = df.with_columns([
    pl.when(col("a").is_null()).then(col("b")).otherwise(col("a")).alias("a"),
    pl.when(col("a").is_null()).then(col("b").shift(1)).otherwise(col("a")).alias("a_filled_lag"),
    pl.when(col("a").is_null()).then(col("b").mean()).otherwise(col("a")).alias("a_filled_mean")

])

print(out)

在上面的示例中，我们使用 when -> then -> othwerwise 表达式用另一列值填充缺失值。考虑 if else expressions，然后考虑整列。

我给出了 3 个示例，一个我们填充该值，一个我们填充滞后值，一个我们填充另一列的平均值。

上面的代码片段产生：

shape: (10, 4)
┌─────┬─────┬──────────────┬───────────────┐
│ a   ┆ b   ┆ a_filled_lag ┆ a_filled_mean │
│ --- ┆ --- ┆ ---          ┆ ---           │
│ i64 ┆ i64 ┆ i64          ┆ f64           │
╞═════╪═════╪══════════════╪═══════════════╡
│ 0   ┆ 0   ┆ 0            ┆ 0.0           │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 1   ┆ 1   ┆ 1            ┆ 1             │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 2   ┆ 2   ┆ 2            ┆ 2             │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 3   ┆ 3   ┆ 3            ┆ 3             │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ ... ┆ ... ┆ ...          ┆ ...           │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 5   ┆ 5   ┆ 5            ┆ 5             │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 6   ┆ 6   ┆ 6            ┆ 6             │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 7   ┆ 7   ┆ 6            ┆ 4.5           │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 8   ┆ 8   ┆ 8            ┆ 8             │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 9   ┆ 9   ┆ 8            ┆ 4.5           │
└─────┴─────┴──────────────┴───────────────┘

fill_null() 值与其他列数据

fill_null() values with other columns data

python

multiple-columns

dataframe

fillna

python-polars