在 S3 中将 python 数据帧从 AWS lambda 转换为 CSV
Converting a python dataframe from AWS lambda to CSV in S3
我正在尝试转换一个 python 数据帧并将其存储在 S3 中。我已经在 Lambda(s3fs 和 fsspec)中添加了所需的层,并为 lambda 提供了写入 s3 的必要权限。但不是我收到以下错误:
“errorMessage”:“模块 's3fs' 没有属性 'S3FileSystem'”
下面是我的代码的相关行:
s3 = boto3.client('s3')
df.to_csv('s3://buckets/<my-bukcet-name>/mydata.csv')
关于这可能是什么原因的任何指示?
此致,
众生
我建议不要包括这些图层,而是包括亚马逊提供的 AWS Data Wrangler layer。
然后您将使用 AWS Data Wrangler 将数据帧直接写入 S3,如下所示:
import awswrangler as wr
wr.s3.to_csv(df, 's3://buckets/<my-bukcet-name>/mydata.csv', index=False)
我正在尝试转换一个 python 数据帧并将其存储在 S3 中。我已经在 Lambda(s3fs 和 fsspec)中添加了所需的层,并为 lambda 提供了写入 s3 的必要权限。但不是我收到以下错误:
“errorMessage”:“模块 's3fs' 没有属性 'S3FileSystem'”
下面是我的代码的相关行:
s3 = boto3.client('s3')
df.to_csv('s3://buckets/<my-bukcet-name>/mydata.csv')
关于这可能是什么原因的任何指示?
此致, 众生
我建议不要包括这些图层,而是包括亚马逊提供的 AWS Data Wrangler layer。
然后您将使用 AWS Data Wrangler 将数据帧直接写入 S3,如下所示:
import awswrangler as wr
wr.s3.to_csv(df, 's3://buckets/<my-bukcet-name>/mydata.csv', index=False)