将数据从 S3 流式传输到数据库表中的推荐 AWS 服务或方法

Question

目前企业正在尝试将数据存储在 Amazon S3 存储桶中。我们正在尝试使用数据库所在的同一 ec2 实例中的数据加载实用工具将其加载到关系数据库 table 中。不幸的是，我们必须将文件从 S3 下载到安装或位于数据库的 EC2 实例中。

该公司还表示他们无法使用 JDBC 端口或负担不起使用 VPN 连接的费用。

数据库名称：MYSQL

实用工具：（实用工具必须使用）商业专有（$BPLOADUTIL -CSV --table T_BPARTNER --file local3gbfile.csv）

我们可以通过 HTTPS 进行数据加载并同时使用实用工具吗？您有什么可以达到预期效果的服务或产品吗？

预期：不是将文件下载到数据库所在的EC2实例中，而是同时需要使用实用工具从ec2实例中加载数据。 解决方案可以包括（服务、产品建议、Web 应用程序或任何内容）但连接应仅为 HTTPS

Answer 1

如果不使用正确的协议，您将无法连接到数据库。例如，MySQL 使用 TCP 协议并通过默认端口 3306 连接。您无法使用端口 80/443 使用 HTTP/HTTPs 协议连接到数据库。

您可以使用 AWS Database Migration Service 将 CSV 格式的数据从 S3 加载到任何关系数据库，甚至是驻留在 EC2 实例上的数据库，而无需在 EC2 实例上下载文件。