Lambda:是否有可用的批处理调度程序?
Lambda : Is any Batch processing scheduler available?
问题:从 Dynamo DB 中获取 2000 个项目并逐批处理(从 100 个项目创建 POST 请求)(批大小 = 100)。
问题:我是否可以通过 AWS 中的任何配置实现它。
PS :我已经为 运行 我的 Lambda 函数配置了一个 cron 计划。我正在使用 Java。我制作了同步执行的多线程应用程序,但这最终大大增加了我的计算时间。
我也遇到了同样的问题,想通过以下方式解决。如果你尝试了,请告诉我。
安排作业使用 Lambda 函数从 DynamoDB 中获取 N 个项目
#1 中的 Lambda 函数将向 SQS 提交 M 条消息以处理每条消息
item 和触发器 lambda 函数,在这种情况下它应该调用
lambda 函数 M 次 每个 lambda 函数将处理请求
留言中给出
为了实现这一点,您需要通过 CloudWatch 安排事件、设置 SQS 并创建由 SQS 事件触发的 lambda 函数。
老实说,我不确定这是否物有所值,但它应该有效。假设您的提取大小很低,这应该是合理的。
您也可以尝试使用 SNS,在这种情况下您无需担心 SQS 消息轮询。
问题:从 Dynamo DB 中获取 2000 个项目并逐批处理(从 100 个项目创建 POST 请求)(批大小 = 100)。
问题:我是否可以通过 AWS 中的任何配置实现它。
PS :我已经为 运行 我的 Lambda 函数配置了一个 cron 计划。我正在使用 Java。我制作了同步执行的多线程应用程序,但这最终大大增加了我的计算时间。
我也遇到了同样的问题,想通过以下方式解决。如果你尝试了,请告诉我。
安排作业使用 Lambda 函数从 DynamoDB 中获取 N 个项目
#1 中的 Lambda 函数将向 SQS 提交 M 条消息以处理每条消息 item 和触发器 lambda 函数,在这种情况下它应该调用 lambda 函数 M 次 每个 lambda 函数将处理请求 留言中给出
为了实现这一点,您需要通过 CloudWatch 安排事件、设置 SQS 并创建由 SQS 事件触发的 lambda 函数。
老实说,我不确定这是否物有所值,但它应该有效。假设您的提取大小很低,这应该是合理的。
您也可以尝试使用 SNS,在这种情况下您无需担心 SQS 消息轮询。