将传入数据流分发到同一网络中的单独容器中(Twitter API 和 AWS ECS)

Distribute an incoming data stream into separate containers within the same network (Twitter API & AWS ECS)

我正在 AWS 上构建一个数据管道,它从 Twitter 的 v1.1 POST statuses/filter 流式传输数据。流媒体应用程序位于 ECS(即 docker)容器中,它从中发送初始 POST 请求。然后,该应用程序将推文发送到 AWS Kinesis Firehose 流(因此可以将数据从不同 places/agents 发送到同一 KF 流)。

我正在使用 VPC,因此可以 运行 同一网络中的多个容器。

问题是:是否可以将传入的 (Twitter) 数据流分发到同一网络 (VPC) 内的多个容器中?如果是,有什么提示吗?

更新。 我的管道是 Twitter API -> [ECS container] streamer app -> S3 -> Lambda (predictions) -> Elasticsearch,我说的是流媒体应用部分。

这里的最终目标是能够根据流的强度进行扩展。例如,当来自 Twitter 的流量较低时使用一个小(内存,CPU)容器,并在流更密集时旋转更多容器。

这是可能的(将一个主播等同于一个 Twitter API 连接),但这将为您提供完全相同的流,并在每个主播实例中返回相同的推文。

如果您要跟踪一组静态关键字,一个好的方法是自动缩放到一个更大的容器,而不是让额外的容器并行摄取完全相同的流。