将大数据发送到 AWS Lambda 函数
Send large data to AWS Lambda function
我计划通过修改 AWS S3 存储桶上的对象来调用 AWS Lambda 函数。我还需要向 AWS Lambda 函数发送大量数据。我怎样才能有效地向它发送数据？
我会先使用另一个 S3 存储桶发送数据，然后从 Lambda 函数中使用它
您的 Lambda 函数应该只从您的大数据所在的数据库中读取。
假设您在 S3 上修改的对象包含 - 在对象内部或作为对象名称 - 某种类型的外键，指向您需要从数据库中获取的数据：
A) 如果您的 Lambda 可以直接访问数据库：那么您可以让您的 lambda 函数直接查询您的数据库以提取数据。
B) 如果您的 Lambda 不能直接访问数据库：然后考虑根据需要将数据从数据库克隆到安全的 S3 存储桶，以便您的 Lambda 在 triggered/need 时访问。将数据作为 JSON 或其他一些易于阅读的格式作为业务案例（订单、客户等）的逻辑对象克隆到 S3。如果适用于您的用例，此方法对于 Lambda 将是 fastest/most 高效的。
我最近通过在调用 lambda 函数之前压缩数据来做到这一点。这对于大多数编程语言来说都非常容易做到。根据您的数据库内容，这将是一个更好或更坏的解决方案。我的数据库内容有很多数据重复，压缩得很好。
我计划通过修改 AWS S3 存储桶上的对象来调用 AWS Lambda 函数。我还需要向 AWS Lambda 函数发送大量数据。我怎样才能有效地向它发送数据？
我会先使用另一个 S3 存储桶发送数据，然后从 Lambda 函数中使用它
您的 Lambda 函数应该只从您的大数据所在的数据库中读取。
假设您在 S3 上修改的对象包含 - 在对象内部或作为对象名称 - 某种类型的外键，指向您需要从数据库中获取的数据：
A) 如果您的 Lambda 可以直接访问数据库：那么您可以让您的 lambda 函数直接查询您的数据库以提取数据。
B) 如果您的 Lambda 不能直接访问数据库：然后考虑根据需要将数据从数据库克隆到安全的 S3 存储桶，以便您的 Lambda 在 triggered/need 时访问。将数据作为 JSON 或其他一些易于阅读的格式作为业务案例（订单、客户等）的逻辑对象克隆到 S3。如果适用于您的用例，此方法对于 Lambda 将是 fastest/most 高效的。
我最近通过在调用 lambda 函数之前压缩数据来做到这一点。这对于大多数编程语言来说都非常容易做到。根据您的数据库内容，这将是一个更好或更坏的解决方案。我的数据库内容有很多数据重复，压缩得很好。