Amazon kinesis 多个发布者

Question

我在推送记录时检查过我们是否有 2 个分片，比如 shard1 和 shard2 以及两个不同的生产者 lambda，我们可以使用分区键属性将其放入不同的分片。

我有几个问题：

1. 如果多个发布者说两个 lambda 正在使用单个分片推送到一个运动流，它会导致任何竞争条件吗？是否可以将两个不同的源推送到单个分片？
2. 推荐每个生产者不同分片和多个生产者单一分片哪个？

Answer 1

在 Kinesis 流中使用多个分片有几个原因。

主要是吞吐量。您可以写入（或读取）分片的数据量以及每分钟可以执行的写入操作数是有限制的。如果你的流有更高的传入率，你别无选择，只能使用更多的分片。

另一个用例是您指出的，根据某些参数对事件进行分区，可能是因为您想使用不同的消费者，或者可能是因为您认为某些事件的优先级高于其他事件。

拥有多个生产者并不是拥有多个分片的理由。竞争条件不会发生。请注意您的总传入吞吐量。