实时转换 from/to pubsub 和 websocket 推送到客户端

Real time transformations from/to pubsub and websocket push to client

我需要从第三方提供商获取一些实时数据,对其进行转换并通过 websockets 推送到浏览器。

从我收到数据到浏览器获取数据,整个过程应该不会超过 200 毫秒。

我正在考虑再次使用 pub/sub 将数据流向 pub/sub,websocket 服务器将订阅并将消息推送到浏览器。

这种方法是否正确,或者数据流不是为这样的事情设计的?

Dataflow 专为可靠的流聚合和分析而设计,并非为保证系统的亚秒级延迟而设计。 windowing 和触发等核心原语允许在定义的 windows 数据上可靠地处理流,尽管有延迟数据和潜在的机器或管道错误。我们优化的主要用例是,例如,聚合和输出数据流的统计信息,为每个 window 输出可靠的统计信息,同时将日志记录到磁盘以实现容错,并在必要时在触发前等待,以适应迟到的数据。因此,我们没有针对您需要的端到端延迟进行优化。