自动化服务器的 Testcafe 测试 运行 失败 运行domly

Question

这是不一致的行为，我得到了 Jenkins 和 GitLab-runner 的 运行dom 结果。当 运行 在同一台构建机器上进行失败测试时，一切顺利。 （例如，自动化服务器在 运行 时失败的测试，在 运行 时手动通过 - 使用 test.only）

尝试使用 Firefox 和 Chrome 进行大部分无头设置，但同样的 运行domness 也发生在完全 UI 上。

首先，我认为构建机器上存在资源问题是因为并发任务，但我通过安排每晚构建来排除了这个问题。而且我还把速度降到了0.8

有没有其他人遇到过这种行为？任何提示将不胜感激。

Answer 1

尝试启用 quarantine mode and try to skip javascript errors。

没有具体的错误信息很难查明原因

Answer 2

不稳定的测试是一个严重的问题，需要缓解策略。在发现并解决这些问题之前，不确定性可能会困扰您的 CICD 管道和 block/delay 开发。在我看来，即使经过大量努力来减少此类有问题的测试，当测试条件达到一定的复杂程度时，片状测试也是不可避免的。那么，主要目标是适当地管理这些。

一些可能有用的措施：

• 重新运行 仅失败测试
• 考虑高级概念，例如 xpath and Look&feel
的组合
• 重构 Hermetic pattern，避免 global/shared 状态或数据并依赖随机测试 运行 顺序
• 正确的Test Fixture策略

这里is more关于这个话题。