如何从 apache beam python 读取 s3 文件？

Question

我正在使用 Apache Beam python SDK 读取 s3 文件数据。

我正在使用的代码

    ip = (pipe
          | beam.io.ReadFromText("s3://bucket_name/file_path")
          | beam.Map(lambda x: x.split(","))
          | beam.Map(print)

          )

但是报错

 S3ClientError('Unable to locate credentials', None)}")}

任何人都知道如何通过 apache beam python 文件

向 s3 客户端提供凭据

Answer 1

您需要确保凭据在您的工作计算机上可用。一种方法是将它们安装在 custom container.

中

如何从 apache beam python 读取 s3 文件？

how to read s3 files from apache beam python?

python

amazon-s3

apache-beam