使用 TFS 进行功能测试

Question

我希望使用我们构建的特殊应用程序执行功能测试。该应用程序运行各种嵌入式功能，我需要能够构建将这些操作作为场景执行的测试用例。

我们认为我们可以简单地使用 TFS API 获取信息并写回测试运行及其结果，但事实证明这是一项艰巨的任务。

所以我们研究了测试用例中的 "associated automation" 功能，但似乎我需要一个特殊的框架。我被告知只能集成单元测试框架，例如 xunit nunit 和 mstest。我需要功能测试，比单元测试更复杂的场景。

你有什么想法吗？关于如何简单地运行我自己的测试并使用我创建的运行更新 TFS？

Answer 1

如果您的测试工具可以生成包含测试结果的 JUnit、XUnit 或 TRX 兼容文件，则可以使用构建 and/or 发布管道中的 "Publish Test Results" 任务来摄取数据。

如果你想要一个任何可执行文件的包装器，then the "Generic Tests" feature of MsTest may also be an option. These configure how to run your executable and then point to a result file for reporting purposes. A sample result file is shown here in the docs.

<?xml version="1.0" encoding="utf-8" ?>
<SummaryResult>
    <TestName>ParentTest</TestName>
    <TestResult>Passed</TestResult>
    <InnerTests>
        <InnerTest>
            <TestName>InnerTest1</TestName>
            <TestResult>Passed</TestResult>
            <ErrorMessage>Everything is fine.</ErrorMessage>
            <DetailedResultsFile>D:\Documents and Settings\Results.txt</DetailedResultsFile>
        </InnerTest>
        <InnerTest>
            <TestName>InnerTest2</TestName>
            <TestResult>Failed</TestResult>
            <ErrorMessage>Something went wrong.</ErrorMessage>
            <DetailedResultsFile>D:\Documents and Settings\Results.txt</DetailedResultsFile>
        </InnerTest>
    </InnerTests>
</SummaryResult>

或者，可以直接通过 REST 创建测试结果 API:

第一个create a test run
Then create test results

使用 TFS 进行功能测试

functional testing with TFS

c#

tfs

azure-devops

mstest

microsoft-test-manager