Google 云中的积压 Pub/Sub
Backlog in Google Cloud Pub/Sub
我是 GCP 的新手,在阅读有关通过数据流服务进行自动调整的文档时,他们正在谈论依赖于它的积压和自动缩放。在这种特殊情况下,什么是积压?
如果我的管道正在读取 pub/sub,它是最旧消息的年龄还是未确认消息的数量?
Dataflow 中的积压与 PubSub 无关。 Dataflow 总是从 PubSub 那里得到一条消息。但是处理队列可以在数据流内部增加:即积压。如果它太大,并且 CPU 消耗太高,则会向管道中添加一个新的 worker。
在流模式下,你仍然有积压,但你也有预测性积压。事实上,它比较了每次 windows 的消息数量,如果消息数量增加可能是尖峰的开始,数据流可以主动扩大。
我是 GCP 的新手,在阅读有关通过数据流服务进行自动调整的文档时,他们正在谈论依赖于它的积压和自动缩放。在这种特殊情况下,什么是积压? 如果我的管道正在读取 pub/sub,它是最旧消息的年龄还是未确认消息的数量?
Dataflow 中的积压与 PubSub 无关。 Dataflow 总是从 PubSub 那里得到一条消息。但是处理队列可以在数据流内部增加:即积压。如果它太大,并且 CPU 消耗太高,则会向管道中添加一个新的 worker。
在流模式下,你仍然有积压,但你也有预测性积压。事实上,它比较了每次 windows 的消息数量,如果消息数量增加可能是尖峰的开始,数据流可以主动扩大。