读取 CSV 文件中列中非空单元格的有效方法

Question

我有一个很大的 python 文件（>500,000 行），并且想读取数据框 (panda) 中列中的非空单元格。现在，我正在这样做：

df = pd.read_csv(filename)

myiter = []    

    for xiter, x in enumerate(df['Column_name']):

        if (np.isnan(x) == False):
            myiter.append(xiter)

有没有更有效的方法来做到这一点？

Answer 1

他们是否在您的 df 中被标记为 NaN？

如果是那么做

df.dropna()

读取 CSV 文件中列中非空单元格的有效方法

Efficient way to read non-empty cells in a column in CSV file

python

large-files

dataframe

import-from-csv

pandas