从 VPC 将 Glue 连接到 RDS、S3 和 Secrets Manager

Question

我需要我的 Glue 作业来访问 VPC 可访问 RDS、s3 存储桶和 Secrets Manager。

我已经创建了一个 JDBC 连接并验证它工作正常。我还创建了一个网络连接并验证它可以访问所需的 s3 存储桶。这些都是使用 AWS UI.

中的“测试连接”功能确认的

创建 Glue 作业时，我可以添加多个连接。我添加了两个连接。

如果我先添加网络连接，我可以成功连接到s3，但连接到SecretsManager 会超时。如果我先添加 JDBC 连接，s3 连接会失败，但 SecretsManager 和 RDS 连接工作正常。

我在这个配置方面有什么遗漏吗？ 实际上 支持多个连接还是我可以添加多个的 UI 错误？

感谢指点。

Answer 1

上面问的时候我对Glue一窍不通

我只需要一个类型为“网络”的连接，就可以访问上面列出的 3 种资源。

一旦正确配置了此连接（正确的意思是安全组和 ACL 访问就位），我就可以访问：

• 我的 RDS（在 VPC 的另一个私有子网中）
• S3（通过正确配置的 VPC 网关）
• SecretsManager（通过正确配置的 VPC 网关）

IMVHO，“JDBC 连接”功能有点令人困惑 - 至少对我来说是这样。 *不需要 * 访问数据库。它是一种“特殊”类型的网络连接，可用于将凭据信息作为元数据存储在连接对象上（在执行此操作之前请咨询您的安全人员 - 我不知道这是如何存储在 AWS 后端的）。

无论如何，胶水不是这里的问题 - 我自己的无知是。