改变 aws lambda consumer batch size of kinesis 是否会导致数据丢失或重复
Does changing aws lambda consumer batch size of kinesis cause data loss or duplication
我有一个现有的 kinesis
流和多个 lambda
具有不同批量大小的消费者。我想更新其中一个 lambda 的批量大小(从 25 到 1000)。由于 edit
选项不可用,我认为有两个选项(afaik);
第一个是;
- 从 lambda 控制台禁用运动。
- 创建一个新的运动触发器,设置批量大小
- 删除禁用的
第二个选项;
- 从 lambda 控制台删除现有运动
- 创建一个新的运动触发器,设置批量大小
我的问题是;
- 这些选项中的最佳实践是什么,还有更好的选择吗?
- 在这两种情况下都会有任何数据loss/duplication吗?
- 如果有可能,如何防止数据丢失或数据重复?
谢谢
查看 update-event-source-mapping 的 CLI。
使用选项 --batch-size
您可以更新建议的批量大小。
例如 运行ning
aws lambda update-event-source-mapping --uuid "a1b2c3d4-5678-90ab-cdef-11111EXAMPLE" --batch-size 8
到 运行 你需要 UUID,这可以通过 list-event-source-mappings 命令检索。将 Lambda 的函数名称指定为参数将为您提供触发器。
这样做应该不会丢失数据,并且可以编写脚本以便回滚。
我有一个现有的 kinesis
流和多个 lambda
具有不同批量大小的消费者。我想更新其中一个 lambda 的批量大小(从 25 到 1000)。由于 edit
选项不可用,我认为有两个选项(afaik);
第一个是;
- 从 lambda 控制台禁用运动。
- 创建一个新的运动触发器,设置批量大小
- 删除禁用的
第二个选项;
- 从 lambda 控制台删除现有运动
- 创建一个新的运动触发器,设置批量大小
我的问题是;
- 这些选项中的最佳实践是什么,还有更好的选择吗?
- 在这两种情况下都会有任何数据loss/duplication吗?
- 如果有可能,如何防止数据丢失或数据重复?
谢谢
查看 update-event-source-mapping 的 CLI。
使用选项 --batch-size
您可以更新建议的批量大小。
例如 运行ning
aws lambda update-event-source-mapping --uuid "a1b2c3d4-5678-90ab-cdef-11111EXAMPLE" --batch-size 8
到 运行 你需要 UUID,这可以通过 list-event-source-mappings 命令检索。将 Lambda 的函数名称指定为参数将为您提供触发器。
这样做应该不会丢失数据,并且可以编写脚本以便回滚。