如何通过报告最好地衡量被测系统的自动化覆盖率?
How to best measure automation coverage against a system under test via reports?
如何最好地衡量被测系统的自动化统计数据/覆盖率(根据您的经验)?
简要概述:
- 目前有超过 100 个测试(功能文件和场景),这些测试也根据他们正在测试的系统区域类型进行标记。
- 测试也被集成到 Jenkins 中,Jenkins 也会生成报告 post 测试执行。
目前我在测量创建的测试数量和需要针对给定系统(可能是前端系统、后端 UI 系统等)创建的测试数量时遇到问题。
我知道 Extent Reports 有助于区分不同的测试类型等(标签..),但是我只是想我会得到其他人对这个主题的想法和意见吗?
谢谢
总有space判断失误,尝试
measure automation statistics / coverage against a system under test
因为没有工具可以(真正)自动化优秀 QA 工程师的思维和技能。作为度量标准的测试覆盖率仅在一定程度上有用。它可以帮助您找出差距以及需要付出更多努力的地方。你怎么知道 69% 的测试覆盖率是否很差,而 70% 是好的!?
根据我的经验,为了给您更具体的答案,我们使用了一个简单的公式:
for every acceptance criteria, you need at least:
- one positive scenario
- one negative scenario (or two, if you want to cover "system does, something that it shouldn't" and "system doesn't do, something that it should" cases)
- destructive scenario (like malformed input)
当然,在大多数情况下,您需要的不止这些,但这些应该是默认的最小值。现在,有了一些数字和映射,您可以创建一个热图,以显示在您的报告中。像这样的商业友好的东西可能:
如何最好地衡量被测系统的自动化统计数据/覆盖率(根据您的经验)?
简要概述:
- 目前有超过 100 个测试(功能文件和场景),这些测试也根据他们正在测试的系统区域类型进行标记。
- 测试也被集成到 Jenkins 中,Jenkins 也会生成报告 post 测试执行。
目前我在测量创建的测试数量和需要针对给定系统(可能是前端系统、后端 UI 系统等)创建的测试数量时遇到问题。
我知道 Extent Reports 有助于区分不同的测试类型等(标签..),但是我只是想我会得到其他人对这个主题的想法和意见吗?
谢谢
总有space判断失误,尝试
measure automation statistics / coverage against a system under test
因为没有工具可以(真正)自动化优秀 QA 工程师的思维和技能。作为度量标准的测试覆盖率仅在一定程度上有用。它可以帮助您找出差距以及需要付出更多努力的地方。你怎么知道 69% 的测试覆盖率是否很差,而 70% 是好的!?
根据我的经验,为了给您更具体的答案,我们使用了一个简单的公式:
for every acceptance criteria, you need at least:
- one positive scenario
- one negative scenario (or two, if you want to cover "system does, something that it shouldn't" and "system doesn't do, something that it should" cases)
- destructive scenario (like malformed input)
当然,在大多数情况下,您需要的不止这些,但这些应该是默认的最小值。现在,有了一些数字和映射,您可以创建一个热图,以显示在您的报告中。像这样的商业友好的东西可能: