基线测试对 SLA 的重要性
Importance of baseline testing over SLA's
如果我们已经有了 SLA,为什么还要将性能测试结果与基线进行比较?
它们将如何关联-
例如:
- 主测试中的事务响应时间为 3 秒
- 同一事务的 SLA 为 5 秒
- 该事务的基准是 2 秒
如何比较这些?
如果时间超过 SLA - 您有一个关键生产问题需要解决。
如果时间超过基线 - 您的服务器性能下降,需要对其进行分析,但重要性较低
在testingperformance中阅读更多内容:
Any user action where the response time seems to be higher than expected can be traced, monitored and checked to determine if their are any inefficiencies.
- As the workload is increased, the performance tester can look to see how the response times of transactions deviate from the baseline as the workload increases.
这是一个很难回答的问题 - 您是 SLA 的接受者(因为您的系统使用带有 SLA 的外部系统)还是您必须保证 SLA?
通常人们使用 "baseline" 来表示应用程序现在的样子,运行 在典型条件和典型负载下。
通常,响应时间 SLA 包括负载上限或某种商业阶梯 - 如果没有额外的财务资源,通常不可能保证无限流量的响应时间。
如果您的第一次性能测试表明实际响应时间高于基线,这表明您不同意 "typical" 条件,或者您已经超出了这些典型条件,或者应用程序的性能自基准建立以来已经恶化。这是重要信息。
一般来说,响应时间和负载没有线性关系 - 如果响应时间是 1 秒,100 个用户,通常不是 10 秒,1000 个用户。相反,响应时间往往会随着负载的增加而非常缓慢地上升,直到遇到瓶颈,此时它会急剧上升。
我通常使用性能测试来探索这些瓶颈,这样我就可以决定它们如何符合我想要的性能特征,并找出如何进一步消除瓶颈。
还值得注意的是,大多数系统都有多个瓶颈,最慢的元素决定了整体性能特征。因此,即使您在架构的一部分中有 5 秒事务的 SLA,其他部分也可能更慢(或更快达到瓶颈)。
那么,即使您有 SLA,为什么还要将负载测试与基线进行比较?
- 确保基线仍然有效。
- 确保您了解整体性能特征并且可以在系统的其他部分超过 SLA。
- 确认您可以达到 SLA
如果我们已经有了 SLA,为什么还要将性能测试结果与基线进行比较?
它们将如何关联- 例如:
- 主测试中的事务响应时间为 3 秒
- 同一事务的 SLA 为 5 秒
- 该事务的基准是 2 秒
如何比较这些?
如果时间超过 SLA - 您有一个关键生产问题需要解决。
如果时间超过基线 - 您的服务器性能下降,需要对其进行分析,但重要性较低
在testingperformance中阅读更多内容:
Any user action where the response time seems to be higher than expected can be traced, monitored and checked to determine if their are any inefficiencies.
- As the workload is increased, the performance tester can look to see how the response times of transactions deviate from the baseline as the workload increases.
这是一个很难回答的问题 - 您是 SLA 的接受者(因为您的系统使用带有 SLA 的外部系统)还是您必须保证 SLA?
通常人们使用 "baseline" 来表示应用程序现在的样子,运行 在典型条件和典型负载下。
通常,响应时间 SLA 包括负载上限或某种商业阶梯 - 如果没有额外的财务资源,通常不可能保证无限流量的响应时间。
如果您的第一次性能测试表明实际响应时间高于基线,这表明您不同意 "typical" 条件,或者您已经超出了这些典型条件,或者应用程序的性能自基准建立以来已经恶化。这是重要信息。
一般来说,响应时间和负载没有线性关系 - 如果响应时间是 1 秒,100 个用户,通常不是 10 秒,1000 个用户。相反,响应时间往往会随着负载的增加而非常缓慢地上升,直到遇到瓶颈,此时它会急剧上升。
我通常使用性能测试来探索这些瓶颈,这样我就可以决定它们如何符合我想要的性能特征,并找出如何进一步消除瓶颈。
还值得注意的是,大多数系统都有多个瓶颈,最慢的元素决定了整体性能特征。因此,即使您在架构的一部分中有 5 秒事务的 SLA,其他部分也可能更慢(或更快达到瓶颈)。
那么,即使您有 SLA,为什么还要将负载测试与基线进行比较?
- 确保基线仍然有效。
- 确保您了解整体性能特征并且可以在系统的其他部分超过 SLA。
- 确认您可以达到 SLA