如何将 AWS Glue 与文档数据库连接
How to connect AWS Glue with Document DB
有人知道如何将 Glue 与 Document DB 连接吗？
不幸的是，我关注的 AWS 博客 [https://aws.amazon.com/blogs/big-data/building-aws-glue-spark-etl-jobs-using-amazon-documentdb-with-mongodb-compatibility-and-mongodb/] 没有按预期工作。
我遵循的步骤
- 创建了 Doc db 安全组以打开端口 27017
- 在个人账户中使用我的默认 VPC 创建了一个文档数据库
- 能够使用 Cloud9 连接到 DocumentDb 并在测试数据库中创建文档
- 在 Glue 数据目录中创建了文档数据库的连接[同时创建了选定的默认 vpc 安全组和 Doc 数据库安全组]
- 创建了 S3 VPC 端点
- 创建了粘合 VPC 端点
- 使用博客中给出的脚本创建作业，但在行 [dynamic_frame2 = glueContext.create_dynamic_frame.from_options]
中失败
错误 - 调用 o92.getDynamicFrame 时出错。等待连接时 30000 毫秒后超时。集群状态的客户端视图是 {type=UNKNOWN, servers=[{address=:, type=UNKNOWN, state=CONNECTING, exception={com.mongodb.MongoSocketOpenException: Exception opening socket}, caused by { java.net.SocketTimeoutException：连接超时}}]
我想通了。由于此作业是使用 Spark 脚本编辑器创建的，因此需要建立数据库连接。打开 Job Script，转到 Job Details 选项卡，单击高级属性并从下拉列表中选择 Doc Db 连接，它成功了。
有人知道如何将 Glue 与 Document DB 连接吗？
不幸的是，我关注的 AWS 博客 [https://aws.amazon.com/blogs/big-data/building-aws-glue-spark-etl-jobs-using-amazon-documentdb-with-mongodb-compatibility-and-mongodb/] 没有按预期工作。
我遵循的步骤
- 创建了 Doc db 安全组以打开端口 27017
- 在个人账户中使用我的默认 VPC 创建了一个文档数据库
- 能够使用 Cloud9 连接到 DocumentDb 并在测试数据库中创建文档
- 在 Glue 数据目录中创建了文档数据库的连接[同时创建了选定的默认 vpc 安全组和 Doc 数据库安全组]
- 创建了 S3 VPC 端点
- 创建了粘合 VPC 端点
- 使用博客中给出的脚本创建作业，但在行 [dynamic_frame2 = glueContext.create_dynamic_frame.from_options] 中失败
错误 - 调用 o92.getDynamicFrame 时出错。等待连接时 30000 毫秒后超时。集群状态的客户端视图是 {type=UNKNOWN, servers=[{address=
我想通了。由于此作业是使用 Spark 脚本编辑器创建的，因此需要建立数据库连接。打开 Job Script，转到 Job Details 选项卡，单击高级属性并从下拉列表中选择 Doc Db 连接，它成功了。