如何修复 teamcity 中失败的测试计数以重新执行测试?

How to fix failed tests count in teamcity for re-executed tests?

我们正在使用 TeamCity 进行 Selenium 测试执行 Specflow+Specrun,问题是 TeamCity 计数重新执行的测试。

例如,如果某个测试第一次失败,他将被重新执行两次以上,在teamcity中我们会看到三个测试失败,但可能是一个测试。

另外如果第一次重新执行会失败,但其他两次会成功,这在teamcity中会报告为两次失败,一次通过,但我需要报告只通过了一次测试。

是否可以使用服务消息或其他方式在 TeamCity 中进行配置?

更新:

根据答案,我们可以使用 powershell 脚本收集日志并使用 teamcity 服务消息更改构建状态:

$path = Get-ChildItem %teamcity.build.checkoutDir%\ProjectFolder\bin\Remote\TestResults\specrun.log
$file = Get-content $path
$total = $file | select-string "Total:"
$passed = $file | select-string "Succeeded:"
$failed = $file | select-string "Failed:"

write-host $( "##teamcity[buildStatus text='Tests {0}, {1}, {2}']" -f $total, $passed, $failed )

TeamCity 的行为符合预期。 TeamCity 报告测试框架告诉他的内容。大致过程是:

  • 执行运行测试的步骤。
  • 收集输出日志。
  • 提取统计信息:执行、通过和失败的测试数。
  • 如果配置为测试失败,则构建失败。

您必须配置您的测试框架(在您的情况下为 specflow+spec运行)以更改它报告重新执行的方式。 您应该配置 specflow 以不同的方式记录重新执行...如果可以的话。

一般来说你应该避免重新执行测试。测试应该在第一次尝试时起作用。如果需要,他们应该准备状态、进行测试并清理状态。

重新执行的需要表明可能与其他测试存在某种依赖关系。类似于:

  • 测试 001:搜索用户 Foo1。 (失败
  • 测试 002:添加用户 Foo1。 (确定)
  • 重新执行测试001:搜索用户Foo1。 (确定)

正确的做法是TEST001不依赖TEST002,添加用户Foo1,测试搜索,清除用户Foo1。