Amazon Kinesis Streams - 每个分片多个 "topics"?
Amazon Kinesis Streams - multiple "topics" per shard?
我对 Kinesis Streams 很陌生,花了很多时间浏览文档,但无法确定是否可以有多个 "topics"(因为没有更好的术语)在单个碎片上。最初我认为这就是分区键的用途,但是在 reading this:
之后
A partition key is used to group data by shard within a stream. The Streams service segregates the data records belonging to a stream into multiple shards, using the partition key associated with each data record to determine which shard a given data record belongs to.
...在我看来分区(可以)跨越多个分片。
我目前只需要一个分片,但我 需要能够将消息分成不同的 channels/topics 在该分片中 - 这不是吗可以使用 Kinesis 吗?
-- 编辑--
值得一提的是 - 我在我的应用程序中同时使用了 KCL 和 KPL。
只有一个分片,您将无法将数据分离到单独的通道中。要使用记录,您必须先调用 GetShardIterator。 GetShardIterator 获取流名称、分片 ID 和迭代器类型。
returned 分片迭代器是指向流的指针。如果您调用 GetRecords,Kinesis 将 return 记录给您,传入分片迭代器。响应将包含一批记录,包括数据、时间戳、序列号和分区键。
今天调用 GetRecords/GetShardIterator 时无法指定主题或任何其他过滤器。
我对 Kinesis Streams 很陌生,花了很多时间浏览文档,但无法确定是否可以有多个 "topics"(因为没有更好的术语)在单个碎片上。最初我认为这就是分区键的用途,但是在 reading this:
之后A partition key is used to group data by shard within a stream. The Streams service segregates the data records belonging to a stream into multiple shards, using the partition key associated with each data record to determine which shard a given data record belongs to.
...在我看来分区(可以)跨越多个分片。
我目前只需要一个分片,但我 需要能够将消息分成不同的 channels/topics 在该分片中 - 这不是吗可以使用 Kinesis 吗?
-- 编辑--
值得一提的是 - 我在我的应用程序中同时使用了 KCL 和 KPL。
只有一个分片,您将无法将数据分离到单独的通道中。要使用记录,您必须先调用 GetShardIterator。 GetShardIterator 获取流名称、分片 ID 和迭代器类型。
returned 分片迭代器是指向流的指针。如果您调用 GetRecords,Kinesis 将 return 记录给您,传入分片迭代器。响应将包含一批记录,包括数据、时间戳、序列号和分区键。
今天调用 GetRecords/GetShardIterator 时无法指定主题或任何其他过滤器。