开发一个简单的云数据处理系统

Developing a simple cloud data processing system

以 public 数据 API 为例,安排每日作业计算一组统计数据并将计算出的统计数据存储在云数据库中的最简单方法是什么?

使用 CloudWatch Event rule with Schedule ExpressionLambda 函数的目标怎么样?

事件 规则将触发 您的 Lambda 函数,例如,每天一次。然后该函数将调用 API,处理来自 API 的数据,并将结果写入 DynamoDBRDS 数据库,具体取决于您需要关系型还是非关系型SQL 数据库。

在 GCP 上也是如此。您可以将 Cloud Scheduler 用于周期性触发器,并调用执行统计的 Cloud Functions。

您可以使用 Firestore 以文档格式存储数据。

每个产品的免费层级都很大,如果您的处理很简单而不是 运行 全职,您应该不需要支付任何费用。