MemberData 测试显示为一个测试而不是多个

Question

当您将 [Theory] 与 [InlineData] 一起使用时，它将为提供的每项内联数据创建一个测试。但是，如果您使用 [MemberData]，它只会显示为一个测试。

有没有办法让 [MemberData] 测试显示为多个测试？

Answer 1

我花了很多时间试图在我的项目中解决这个问题。 This related Github discussion 来自@NPadrutt 本人帮助很大，但仍然令人困惑。

tl;dr 是这样的：[MemberInfo] 将报告单个组测试，除非为每个测试提供的对象可以通过实现 [=] 完全 序列化和反序列化 14=].

背景

我自己的测试设置是这样的：

public static IEnumerable<object[]> GetClients()
{
    yield return new object[] { new Impl.Client("clientType1") };
    yield return new object[] { new Impl.Client("clientType2") };
}

[Theory]
[MemberData(nameof(GetClients))]
public void ClientTheory(Impl.Client testClient)
{
    // ... test here
}

测试运行两次，如预期的那样，针对来自 [MemberData] 的每个对象一次。正如@NPadrutt 所经历的，只有一个项目出现在测试资源管理器中，而不是两个。这是因为提供的对象 Impl.Client 不能被 xUnit 支持的任何一个接口序列化（稍后会详细介绍）。

就我而言，我不想将测试问题渗入到我的主要代码中。我以为我可以围绕我的真实 class 编写一个瘦代理，它会愚弄 xUnit 运行器以为它可以序列化它，但是在与它战斗的时间比我愿意承认的要长之后，我意识到我是那个角色'理解为：

The objects aren't just serialized during discovery to count permutations; each object is also deserialized at test run time as the test starts.

因此，您使用 [MemberData] 提供的任何对象都必须支持完整的往返（反）序列化。现在这对我来说似乎很明显，但是在我试图弄明白的时候找不到任何关于它的文档。

解决方案

确保每个对象（以及它可能包含的任何非原始对象）都可以完全序列化和反序列化。实现 xUnit 的 IXunitSerializable 告诉 xUnit 它是一个可序列化的对象。
如果像我的情况一样，您不想向主代码添加属性，一个解决方案是制作一个精简的可序列化构建器 class 用于测试，它可以代表所有内容需要重新创建实际的 class。这是上面的代码，在我让它工作之后：

TestClientBuilder

public class TestClientBuilder : IXunitSerializable
{
    private string type;

    // required for deserializer
    public TestClientBuilder()
    {
    }

    public TestClientBuilder(string type)
    {
        this.type = type;
    }

    public Impl.Client Build()
    {
        return new Impl.Client(type);
    }

    public void Deserialize(IXunitSerializationInfo info)
    {
        type = info.GetValue<string>("type");
    }

    public void Serialize(IXunitSerializationInfo info)
    {
        info.AddValue("type", type, typeof(string));
    }

    public override string ToString()
    {
        return $"Type = {type}";
    }
}

测试

public static IEnumerable<object[]> GetClients()
{
    yield return new object[] { new TestClientBuilder("clientType1") };
    yield return new object[] { new TestClientBuilder("clientType2") };
}

[Theory]
[MemberData(nameof(GetClients))]
private void ClientTheory(TestClientBuilder clientBuilder)
{
    var client = clientBuilder.Build();
    // ... test here
}

有点烦人的是我不再注入目标对象，但这只是调用我的构建器的额外代码行。而且，我的测试通过了（并且出现了两次！），所以我没有抱怨。

Answer 2

MemberData 可以使用 return 对象 [] 的 IEnumerable 属性或方法。在这种情况下，您将看到每个产量的单独测试结果：

public class Tests
{ 
    [Theory]
    [MemberData("TestCases", MemberType = typeof(TestDataProvider))]
    public void IsLargerTest(string testName, int a, int b)
    {
        Assert.True(b>a);
    }
}

public class TestDataProvider
{
    public static IEnumerable<object[]> TestCases()
    {
        yield return new object[] {"case1", 1, 2};
        yield return new object[] {"case2", 2, 3};
        yield return new object[] {"case3", 3, 4};
    }
}

但是，一旦您需要传递复杂的自定义对象，无论您有多少测试用例，测试输出 window 将只显示一个测试。这不是理想的行为，并且在调试失败的测试用例时确实非常不方便。解决方法是创建您自己的包装器，它将派生自 IXunitSerializable。

public class MemberDataSerializer<T> : IXunitSerializable
    {
        public T Object { get; private set; }

        public MemberDataSerializer()
        {
        }

        public MemberDataSerializer(T objectToSerialize)
        {
            Object = objectToSerialize;
        }

        public void Deserialize(IXunitSerializationInfo info)
        {
            Object = JsonConvert.DeserializeObject<T>(info.GetValue<string>("objValue"));
        }

        public void Serialize(IXunitSerializationInfo info)
        {
            var json = JsonConvert.SerializeObject(Object);
            info.AddValue("objValue", json);
        }
    }

现在您可以将自定义对象作为 Xunit Theories 的参数，并且仍然 see/debug 它们作为测试运行器中的独立结果 window:

public class UnitTest1
{
    [Theory]
    [MemberData("TestData", MemberType = typeof(TestDataProvider))]
    public void Test1(string testName, MemberDataSerializer<TestData> testCase)
    {
        Assert.Equal(1, testCase.Object.IntProp);
    }
}

public class TestDataProvider
{
    public static IEnumerable<object[]> TestData()
    {
        yield return new object[] { "test1", new MemberDataSerializer<TestData>(new TestData { IntProp = 1, StringProp = "hello" }) };
        yield return new object[] { "test2", new MemberDataSerializer<TestData>(new TestData { IntProp = 2, StringProp = "Myro" }) };      
    }
}

public class TestData
{
    public int IntProp { get; set; }
    public string StringProp { get; set; }
}

希望对您有所帮助。

Answer 3

在我最近的项目中，我遇到了同样的问题，经过一番研究，我想出的解决方案如下：

根据您的喜好实施扩展 FactAttribute 的自定义 MyTheoryAttribute 以及实施 IXunitTestCaseDiscoverer 的 MyTheoryDiscoverer 和几个扩展 TestMethodTestCase 并实施 IXunitTestCase 的自定义 MyTestCases。您的自定义测试用例应该被 MyTheoryDiscoverer 识别并用于以 Xunit 框架可见的形式封装您的枚举理论测试用例，即使传递的值不是由 Xunit 本地序列化并且没有实现 IXunitSerializable。

最重要的是无需更改您宝贵的测试代码！

这需要做一些工作，但由于它已经由我完成并且在 MIT 许可下可用，请随意使用它。它是托管在 GitHub.

上的 DjvuNet 项目的一部分

直接link到Xunit支持代码的相关文件夹如下：

DjvuNet test support code

要使用它，请使用此文件创建单独的程序集或将它们直接包含到您的测试项目中。

用法与 Xunit TheoryAttribute 完全相同，并且支持 ClassDataAttribute 和 MemberDataAttribute 即：

[DjvuTheory]
[ClassData(typeof(DjvuJsonDataSource))]
public void InfoChunk_Theory(DjvuJsonDocument doc, int index)
{
    // Test code goes here
}


[DjvuTheory]
[MemberData(nameof(BG44TestData))]
public void ProgressiveDecodeBackground_Theory(BG44DataJson data, long length)
{
    // Test code goes here
}

感谢另一位开发人员，但不幸的是我在 github

上找不到他的回购协议

Answer 4

目前，当您的自定义类覆盖 ToString().

时，ReSharper 可以显示所有带有自定义参数的 MemberData 测试

例如：

public static TheoryData<Permission, Permission, Permission> GetAddRuleData()
{
    var data = new TheoryData<Permission, Permission, Permission>
    {
        {
            new Permission("book", new[] {"read"}, null),
            new Permission("book", new[] {"delete"}, new[] {"2333"}),
            new Permission("book", new[] {"delete", "read"}, new[] {"*", "2333"})
        },
        {
            new Permission("book", new[] {"read"}, null),
            new Permission("music", new[] {"read"}, new[] {"2333"}), new Permission
            {
                Resources = new Dictionary<string, ResourceRule>
                {
                    ["book"] = new ResourceRule("book", new[] {"read"}, null),
                    ["music"] = new ResourceRule("music", new[] {"read"}, new[] {"2333"}),
                }
            }
        }
    };
    return data;
}

Permission 覆盖 ToString()，然后在 ReSharper Test Session Explorer 中：

Answer 5

一个简单的替代方法是，如果您使用的是 .net 核心项目，而不是使用 vstest 资源管理器，您可以运行在命令行中使用“dotnet test”进行测试

结果是：

获取总测试量
通过的数量
失败的数量

对于失败的会员数据测试，您将获得每个失败的会员数据测试的相关参数值

MemberData 测试显示为一个测试而不是多个

MemberData tests show up as one test instead of many

c#

xunit.net

data-driven-tests

xunit2