pandas.DataFrame.to_parquet 当 S3 是目的地时失败

Question

我有一个 Pandas 数据框，我正试图将其作为镶木地板文件保存到 S3 中：

dftest = pd.DataFrame({'field': [1,2,3]})
dftest.to_parquet("s3://bucket_name/test.parquet", engine='pyarrow', 
compression='gzip')

我得到："FileNotFoundError: bucket_name/test.parquet"

Answer 1

虽然我仍然无法pandas.DataFrame.to_parquet使用 S3 的方法，但我确实找到了似乎有效的不同解决方案：

import s3fs
from fastparquet import write
s3 = s3fs.S3FileSystem()
myopen = s3.open
write('s3://bucketname/test.parquet', dftest, compression='GZIP', open_with=myopen)