AWS Glue 可以写入 DynamoDB 吗?
Can AWS Glue write to DynamoDB?
我需要从源 DynamoDB table 做一些分组工作,然后将每个结果项目写入另一个目标 DynamoDB table(或源 DynamoDB 的二级索引)。
Here I see that DynamoDB can be used as a Source (as well as reported in Connection Types)。
但是,我不清楚 DynamoDB table 是否也可以用作 Target。
注意:每个生成的分组项目必须写入单独的 DynamoDB 项目(即,如果分组产生 X 个对象,则必须将 X 个项目写入目标 DynamoDB table).
可以自定义 Glue 作业脚本以写入任何数据源。如果您使用自动生成的脚本,您可以添加 boto3 库以写入 DynamoDb 表。
如果您想轻松测试脚本,您可以通过 AWS 控制台创建一个 Dev 端点并启动一个 jupyter notebook 来编写和测试您的粘合作业脚本。
Glue 现在可以 读取 和 写入 到 DynamoDB。写入选项无法通过 控制台 使用,但可以通过编辑脚本来完成。
示例:
Datasink1 = glueContext.write_dynamic_frame_from_options(
frame=ApplyMapping_Frame1,
connection_type="dynamodb",
connection_options={
"dynamodb.output.tableName": "myDDBTable",
"dynamodb.throughput.write.percent": "1.0"
}
)
根据:
我需要从源 DynamoDB table 做一些分组工作,然后将每个结果项目写入另一个目标 DynamoDB table(或源 DynamoDB 的二级索引)。
Here I see that DynamoDB can be used as a Source (as well as reported in Connection Types)。
但是,我不清楚 DynamoDB table 是否也可以用作 Target。
注意:每个生成的分组项目必须写入单独的 DynamoDB 项目(即,如果分组产生 X 个对象,则必须将 X 个项目写入目标 DynamoDB table).
可以自定义 Glue 作业脚本以写入任何数据源。如果您使用自动生成的脚本,您可以添加 boto3 库以写入 DynamoDb 表。
如果您想轻松测试脚本,您可以通过 AWS 控制台创建一个 Dev 端点并启动一个 jupyter notebook 来编写和测试您的粘合作业脚本。
Glue 现在可以 读取 和 写入 到 DynamoDB。写入选项无法通过 控制台 使用,但可以通过编辑脚本来完成。 示例:
Datasink1 = glueContext.write_dynamic_frame_from_options(
frame=ApplyMapping_Frame1,
connection_type="dynamodb",
connection_options={
"dynamodb.output.tableName": "myDDBTable",
"dynamodb.throughput.write.percent": "1.0"
}
)
根据: