AWS lambda 提取大数据并上传到 s3
AWS lambda extract large data and upload to s3
我正在尝试编写一个 nodeJS lambda 函数来从我们的数据库集群查询数据并将其上传到 s3，我们需要它进行进一步分析。但我的疑问是，如果要从数据库中查询的数据很大（9GB），那么 lambda 函数如何处理这个问题，因为内存限制是 3008 MB？
还有 500MB 的磁盘存储限制。
因此，您需要将结果流到 Amazon S3，因为它来自数据库。
您还可以 运行 将 Lambda 函数的时间限制 设置为 15 分钟，具体取决于数据库查询和传输该数量信息的速度。
您可以考虑另一种策略，例如使用 Lambda 函数 call Amazon Athena 来查询数据库。 Athena 查询的结果会自动保存到 Amazon S3，这样就无需传输数据。
lambda 在 运行 时间和 space 方面有一些限制。最好在亚马逊胶水中使用爬虫或作业。这是做到这一点的简单方法。
为此去`
amazon glue>>job>>create job
并填写来源和目的地等基本要求。
和 运行 工作。没有大小和时间限制。
`
我正在尝试编写一个 nodeJS lambda 函数来从我们的数据库集群查询数据并将其上传到 s3，我们需要它进行进一步分析。但我的疑问是，如果要从数据库中查询的数据很大（9GB），那么 lambda 函数如何处理这个问题，因为内存限制是 3008 MB？
还有 500MB 的磁盘存储限制。
因此，您需要将结果流到 Amazon S3，因为它来自数据库。
您还可以 运行 将 Lambda 函数的时间限制 设置为 15 分钟，具体取决于数据库查询和传输该数量信息的速度。
您可以考虑另一种策略，例如使用 Lambda 函数 call Amazon Athena 来查询数据库。 Athena 查询的结果会自动保存到 Amazon S3，这样就无需传输数据。
lambda 在 运行 时间和 space 方面有一些限制。最好在亚马逊胶水中使用爬虫或作业。这是做到这一点的简单方法。 为此去`
amazon glue>>job>>create job
并填写来源和目的地等基本要求。 和 运行 工作。没有大小和时间限制。
`