如何将 pandas 数据帧逐行写入 CSV 文件，一次一行？

Question

我有一个包含大约 100 万个地址的列表，以及一个查找它们的纬度和经度的函数。由于某些记录格式不正确（或出于任何原因），有时该函数无法 return 某些地址的纬度和经度。这将导致 for 循环中断。因此，对于成功检索到经纬度的每个地址，我想将其写入输出 CSV 文件。或者，也许不是逐行写入，而是以小块大小写入也可以。为此，我在 "append" 模式 (mode='a') 中使用 df.to_csv，如下所示：

for i in range(len(df)):
    place = df['ADDRESS'][i]
    try:
        lat, lon, res = gmaps_geoencoder(place)
    except:
        pass

    df['Lat'][i] = lat
    df['Lon'][i] = lon
    df['Result'][i] = res

    df.to_csv(output_csv_file,
          index=False,
          header=False,
          mode='a', #append data to csv file
          chunksize=chunksize) #size of data to append for each loop

但问题在于，它会为每个追加打印整个数据帧。因此，对于 n 行，它将写入整个数据帧 n^2 次。如何解决这个问题？

Answer 1

如果真的要逐行打印。（你不应该）。

for i in range(len(df)):
    df.loc[[i]].to_csv(output_csv_file,
        index=False,
        header=False,
        mode='a')

如何将 pandas 数据帧逐行写入 CSV 文件，一次一行？

How to write a pandas dataframe to CSV file line by line, one line at a time?

python

pandas

read-write

writetofile