有没有办法不报告重新 运行 失败的测试用例(在范围报告中)作为 <rerunFailingTestsCount> 的一部分
Is there any way not to report re-run failed test case (in extent report) as part of <rerunFailingTestsCount>
环境 - Cucumber V.4.0.0 |硒 V.3.8.1 | JUnit V.4.12 |范围报告 3.0/4.0(任何人)
使用下面的 Surefire 配置重新 运行 失败的测试用例。万一测试用例失败,那么它会再尝试一次,假设测试用例在第二次尝试中通过。
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-surefire-plugin</artifactId>
<version>${maven-surefire.plugin.version}</version>
<configuration>
<parallel>methods</parallel>
<threadCount>1</threadCount>
<reuserForks>false</reuserForks>
<testErrorIgnore>true</testErrorIgnore>
<testFailureIgnore>true</testFailureIgnore>
<includes>
<include>**/*RunCukeTest.java</include>
</includes>
<rerunFailingTestsCount>1</rerunFailingTestsCount>
</configuration>
</plugin>
一旦整体构建完成并且如果我检查 Cucumber-Maven 和 Cluecumber 报告,那么这些将包含仅通过尝试的详细信息,而不是测试用例失败的第一次尝试的详细信息。这听起来很完美。但是,
当我在那里检查范围报告时,我得到了两次尝试(失败和通过)的详细信息。
有人可以指导我进行以下 2 种实现吗 -
1. 我认为我应该报告的内容仅在启动后通过测试用例(在范围报告中)-运行 作为一部分失败
(有或没有适配器,任何一个都可以),如果测试用例在第 n 次尝试中通过,则不想报告失败的尝试。
2. 有时我们需要分析为什么很少有测试用例在第 2 次/第 3 次尝试中通过。那么有什么方法可以在启动 re-运行 作为
的一部分失败后在一些单独的报告中报告失败的测试
任何想法都将不胜感激,因为它会在报告中带来创新,并且我们在重新 运行 失败的测试用例时得到 failed/passed 测试用例分析方面的最佳报告。
根据我的记忆,为了重新 运行 测试,TestNG 从头开始初始化执行,这会创建一个新套件,因此创建一个全新的报告(用新数据覆盖现有报告)。
在当前的计划中,这是不可能的,但有一个公开的此增强功能票:github。com/extent-framework/extentreports-java/issues/25
据我所知,可以在 1.2.5 中使用 @extendedcucumberoptions,可以为失败的测试用例生成单独的报告,但从 4.0.0 开始就不可能了。
环境 - Cucumber V.4.0.0 |硒 V.3.8.1 | JUnit V.4.12 |范围报告 3.0/4.0(任何人)
使用下面的 Surefire 配置重新 运行 失败的测试用例。万一测试用例失败,那么它会再尝试一次,假设测试用例在第二次尝试中通过。
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-surefire-plugin</artifactId>
<version>${maven-surefire.plugin.version}</version>
<configuration>
<parallel>methods</parallel>
<threadCount>1</threadCount>
<reuserForks>false</reuserForks>
<testErrorIgnore>true</testErrorIgnore>
<testFailureIgnore>true</testFailureIgnore>
<includes>
<include>**/*RunCukeTest.java</include>
</includes>
<rerunFailingTestsCount>1</rerunFailingTestsCount>
</configuration>
</plugin>
一旦整体构建完成并且如果我检查 Cucumber-Maven 和 Cluecumber 报告,那么这些将包含仅通过尝试的详细信息,而不是测试用例失败的第一次尝试的详细信息。这听起来很完美。但是,
当我在那里检查范围报告时,我得到了两次尝试(失败和通过)的详细信息。
有人可以指导我进行以下 2 种实现吗 -
1. 我认为我应该报告的内容仅在启动后通过测试用例(在范围报告中)-运行 作为一部分失败 (有或没有适配器,任何一个都可以),如果测试用例在第 n 次尝试中通过,则不想报告失败的尝试。
2. 有时我们需要分析为什么很少有测试用例在第 2 次/第 3 次尝试中通过。那么有什么方法可以在启动 re-运行 作为
的一部分失败后在一些单独的报告中报告失败的测试任何想法都将不胜感激,因为它会在报告中带来创新,并且我们在重新 运行 失败的测试用例时得到 failed/passed 测试用例分析方面的最佳报告。
根据我的记忆,为了重新 运行 测试,TestNG 从头开始初始化执行,这会创建一个新套件,因此创建一个全新的报告(用新数据覆盖现有报告)。
在当前的计划中,这是不可能的,但有一个公开的此增强功能票:github。com/extent-framework/extentreports-java/issues/25
据我所知,可以在 1.2.5 中使用 @extendedcucumberoptions,可以为失败的测试用例生成单独的报告,但从 4.0.0 开始就不可能了。