将数据从 S3 加载到 PostgreSQL RDS
Loading data from S3 to PostgreSQL RDS
我们计划在 AWS 环境中使用 PostgreSQL RDS。 S3 中有一些我们需要每周加载的文件。我在 AWS 文档中没有看到我们可以将数据从 S3 加载到 PostgreSQL RDS 的任何选项。我看到 Aurora 有可能，但找不到 PostgreSQL 的任何内容。
任何帮助将不胜感激。
一种选择是使用 AWS Data Pipeline。它本质上是一个 JSON 脚本，允许您在 AWS 上编排源之间的数据流。
AWS 提供了一个模板，用于在 S3 和 MySQL 之间移动数据。你可以找到它 here。您可以轻松地按照此操作并将 MySQL 参数替换为与您的 Postgres 实例关联的参数。 Data Pipeline 只是将 RDS 查找为类型，并不区分 MySQL 和 Postgres 实例。
Data Pipeline 也支持 Scheduling，因此您可以自动执行每周的文件传输。
要开始这个：
- 转到您的 AWS 控制台中的 Data Pipeline 服务
- Select "Build from template" 下来源
- Select "Load S3 to MySQL table" 模板
- 填写其余字段并创建管道
从那里，您可以在控制台中监控管道的进度！
我们计划在 AWS 环境中使用 PostgreSQL RDS。 S3 中有一些我们需要每周加载的文件。我在 AWS 文档中没有看到我们可以将数据从 S3 加载到 PostgreSQL RDS 的任何选项。我看到 Aurora 有可能，但找不到 PostgreSQL 的任何内容。 任何帮助将不胜感激。
一种选择是使用 AWS Data Pipeline。它本质上是一个 JSON 脚本，允许您在 AWS 上编排源之间的数据流。
AWS 提供了一个模板，用于在 S3 和 MySQL 之间移动数据。你可以找到它 here。您可以轻松地按照此操作并将 MySQL 参数替换为与您的 Postgres 实例关联的参数。 Data Pipeline 只是将 RDS 查找为类型，并不区分 MySQL 和 Postgres 实例。
Data Pipeline 也支持Scheduling，因此您可以自动执行每周的文件传输。
要开始这个：
- 转到您的 AWS 控制台中的 Data Pipeline 服务
- Select "Build from template" 下来源
- Select "Load S3 to MySQL table" 模板
- 填写其余字段并创建管道
从那里，您可以在控制台中监控管道的进度！