在 S3 中将 python 数据帧从 AWS lambda 转换为 CSV

Converting a python dataframe from AWS lambda to CSV in S3

我正在尝试转换一个 python 数据帧并将其存储在 S3 中。我已经在 Lambda(s3fs 和 fsspec)中添加了所需的层,并为 lambda 提供了写入 s3 的必要权限。但不是我收到以下错误:

“errorMessage”:“模块 's3fs' 没有属性 'S3FileSystem'”

下面是我的代码的相关行:

s3 = boto3.client('s3')
df.to_csv('s3://buckets/<my-bukcet-name>/mydata.csv')

关于这可能是什么原因的任何指示?

此致, 众生

我建议不要包括这些图层,而是包括亚马逊提供的 AWS Data Wrangler layer

然后您将使用 AWS Data Wrangler 将数据帧直接写入 S3,如下所示:

import awswrangler as wr

wr.s3.to_csv(df, 's3://buckets/<my-bukcet-name>/mydata.csv', index=False)