如何解释 Storm UI 统计数据
How interpret Storm UI statistic
我在解释风暴 UI 统计数据时遇到了一些问题。
我已经部署了一个简单的拓扑结构,其中包含 Kafka spout 和 Custom Bolt,它们什么都不做,但会确认元组。这个想法是衡量 Kafka spout 的性能。
所以,看着这个统计数据我有一些问题。
1) 在过去 10 分钟内,拓扑确认了 1619220 个元组,完整延迟为 14.125 毫秒。但是如果你做一些计算:
(1619220 * 14.125) / (1000 * 60) = 381
1619220 个元组,每个元组的完整延迟为 14.125,需要 381 分钟才能通过拓扑。但该统计数据是最后 10 分钟的数据。完整的延迟显示错误的数字,或者我解释错了?
2) 螺栓容量约为 0.5。是否证明瓶颈是kafka spout?
我会很感激任何关于改进风暴拓扑性能的信息,因为现在对我来说还不是很明显。
由于并行性,许多元组 in-flight 的元组处理确实重叠,因此您的计算不正确。 (只有当 Storm 在开始处理下一个元组之前完全处理单个元组时才是正确的。)
0.5 的容量并不是真正的过载。过载将超过 1。但我建议尽量将其保持在 0.9 或 0.8 以下,以便为输入速率的峰值留出一些空间。
我在解释风暴 UI 统计数据时遇到了一些问题。 我已经部署了一个简单的拓扑结构,其中包含 Kafka spout 和 Custom Bolt,它们什么都不做,但会确认元组。这个想法是衡量 Kafka spout 的性能。
所以,看着这个统计数据我有一些问题。
1) 在过去 10 分钟内,拓扑确认了 1619220 个元组,完整延迟为 14.125 毫秒。但是如果你做一些计算:
(1619220 * 14.125) / (1000 * 60) = 381
1619220 个元组,每个元组的完整延迟为 14.125,需要 381 分钟才能通过拓扑。但该统计数据是最后 10 分钟的数据。完整的延迟显示错误的数字,或者我解释错了?
2) 螺栓容量约为 0.5。是否证明瓶颈是kafka spout?
我会很感激任何关于改进风暴拓扑性能的信息,因为现在对我来说还不是很明显。
由于并行性,许多元组 in-flight 的元组处理确实重叠,因此您的计算不正确。 (只有当 Storm 在开始处理下一个元组之前完全处理单个元组时才是正确的。)
0.5 的容量并不是真正的过载。过载将超过 1。但我建议尽量将其保持在 0.9 或 0.8 以下,以便为输入速率的峰值留出一些空间。