将 Excel/ CSV 文件附加到 Dataframe

Question

我构建了一个将数据提取到列表中的网络爬虫。列表被转换为 pd.Series() ，然后系列被转换为数据帧。目前数据存储方式如下：

dataframe_for_excel_file_structure = {'id': pd.Series(ids) ,'date': date_for_each_sheet, 'type_of_property': pd.Series(type_of_property), 'area': pd.Series(sqm_area), 'location': pd.Series(
    locations), 'price_per_m2': pd.Series(price_per_m2), 'total_price': pd.Series(prices), 'published_by': pd.Series(publisher), 'link': pd.Series(link_for_offer)}
dataframe_for_excel = pd.DataFrame(dataframe_for_excel_file_structure)

filename_for_sqm = time.strftime("%Y%m%d")
dataframe_for_excel.to_excel(filename_for_sqm + '.xlsx')

这每天都会创建一个文件。我希望能够将数据存储在当前 Excel 或 CSV 文件中。

我试过以下方法：

with open('document.csv','a') as fd:
fd.write(myCsvRow)

这是取自另一个 post 是 Whosebug。

这对我不起作用，因为它只接受字符串（一个），错误为：

TypeError: write() argument must be str, not list

因此我正在寻找解决我问题的另一种方法。

最终目标是让一个文件包含每天的所有内容，而不是每天一个文件。

任何建议将不胜感激！

Answer 1

如果你想每天将数据存储到同一个文件

old_df = pd.read_csv('daily.csv')
old_df = old_df.append(dataframe_for_excel, ignore_index=True)
old_df.to_csv('daily.csv')

将 Excel/ CSV 文件附加到 Dataframe

Append Excel/ CSV file with a Dataframe

python

beautifulsoup

export-to-csv

pandas