Pandas 加载 CSV 时保留 'null' 和“ ”

Question

我有一个奇怪的 CSV，它的值是 "null"，而且它的值是一个空单元格。

所以我的行看起来像这样：

null,0,0,0,1,,,,0,0,0,null

除了读取和重写文件，我什么也没做：

f = pd.read_csv(input_file,sep=',', quotechar='"', engine='python', converters={i: str for i in range(0, 155)})
f.to_csv(output_file, sep=',', escapechar=' ', quotechar='"', quoting=csv.QUOTE_MINIMAL, index=False)

从技术上讲，上面 "renaming" 是一个文件，但这是为了证明我为整个文件获得了相同的值，稍后我将 trim 某些列（我已经这样做了，但发现数据有误）。

那么，如何在不读取每个 row/column 的情况下同时保留 "null" 和“ ”，并创建一个检查每个单元格的函数？

这可能吗？

我尝试了 na_rep="null"，但随后所有的 '' 都被转换为 'null'，或者如果我删除它们，那么我的 'null' 值就会丢失。

Answer 1

要完全忽略 NaN 值的处理，您可以将 na_filter=False 参数传递给 read_csv 方法：

f = (pd.read_csv(input_file,sep=',',
                 quotechar='"',
                 engine='python',
                 converters={i: str for i in range(0, 155)},
                 na_filter=False))

或者，如果您需要更多地控制值的处理方式，您可以排除默认值并传入您自己的 na_values 列表。例如：

f = (pd.read_csv(input_file,sep=',',
                 quotechar='"',
                 engine='python',
                 converters={i: str for i in range(0, 155)},
                 na_values=['nan', 'NaN'],
                 keep_default_na=False))

将自动强制转换为 NaN 的默认值是

default_na_values = ['', '#N/A', '#N/A N/A', '#NA', '-1.#IND', '-1.#QNAN', '-NaN', '-nan',
                     '1.#IND', '1.#QNAN', 'N/A', 'NA', 'NULL', 'NaN', 'n/a', 'nan', 'null']

Pandas 加载 CSV 时保留 'null' 和“ ”

Pandas keep 'null' and ' ' when loading CSV

python

pandas

isnull