与 Firebase Remote Config 的互斥 A/B 测试
Mutually exclusive A/B tests with Firebase Remote Config
我想使用 Firebase 在应用程序上执行两个 A/B 测试 A/B 使用远程配置进行测试。
问题在于这两个测试受众应该是互斥的。形成两个实验的一部分可能会污染结果。
我想在用户进入实验 1 时设置一个 Firebase Analytics 用户 属性 并从实验 2 的观众中排除这个 属性 值，但我担心用户获取远程配置值时同时进入两个实验。
是否有更好的解决方案来防止用户进入这两个实验？
（为了回答这个问题，我假设您谈论的是我们上周刚刚推出的新 A/B 测试框架）
所以现在，您无法使用新的 A/B 测试框架真正确保实验组相互排斥。如果您指定 10% 的用户在实验 A 中，10% 的用户在实验 B 中，那么实验 B 中的一小部分用户（具体来说，大约 10%）也会在实验 A 中。
好消息是，实验 A 中的那些用户应该在实验 B 中的变体中均匀分布。但是，如果您发现自己处于这样一种情况，即您觉得这些实验用户会偏爱一个变体而不是另一个变体（从而扭曲你的结果），你有两个选择：
运行 您的 A/B 测试是串行的，而不是并行的。等到您停止第一个实验，然后再 运行 第二个实验。
如果有意义，请尝试将它们组合成一个多变体实验。例如，假设实验 A 正在添加更快的登录流程，而实验 B 正在将您的登录流程推迟到流程的后期。您可以尝试创建这样的多变量实验：
+---------------------+---------------+----------------+
| Group | Sign-in speed | Sign-in timing |
+---------------------+---------------+----------------+
| Control | (default) | (default) |
| Speedy | Speedy | (default) |
| Deferred | (default) | Deferred |
| Speedy and Deferred | Speedy | Deferred |
+---------------------+---------------+----------------+
这样做的好处是，您可以更深入地了解参加这两个实验是否确实以您怀疑的方式影响了您的用户。
它应该能够 运行 相互排斥 A/B 并行利用 "activation event" 测试实验，但是，它需要额外的工作来维护客户端的一些状态。
我只会在安装时将 property 设置为 1~10 之间的随机数。
那么您应该可以通过使用它来过滤用户来"exclusive A/B testing"。
我想使用 Firebase 在应用程序上执行两个 A/B 测试 A/B 使用远程配置进行测试。
问题在于这两个测试受众应该是互斥的。形成两个实验的一部分可能会污染结果。
我想在用户进入实验 1 时设置一个 Firebase Analytics 用户 属性 并从实验 2 的观众中排除这个 属性 值，但我担心用户获取远程配置值时同时进入两个实验。
是否有更好的解决方案来防止用户进入这两个实验？
（为了回答这个问题，我假设您谈论的是我们上周刚刚推出的新 A/B 测试框架）
所以现在，您无法使用新的 A/B 测试框架真正确保实验组相互排斥。如果您指定 10% 的用户在实验 A 中，10% 的用户在实验 B 中，那么实验 B 中的一小部分用户（具体来说，大约 10%）也会在实验 A 中。
好消息是，实验 A 中的那些用户应该在实验 B 中的变体中均匀分布。但是，如果您发现自己处于这样一种情况，即您觉得这些实验用户会偏爱一个变体而不是另一个变体（从而扭曲你的结果），你有两个选择：
运行 您的 A/B 测试是串行的，而不是并行的。等到您停止第一个实验，然后再 运行 第二个实验。
如果有意义，请尝试将它们组合成一个多变体实验。例如，假设实验 A 正在添加更快的登录流程，而实验 B 正在将您的登录流程推迟到流程的后期。您可以尝试创建这样的多变量实验：
+---------------------+---------------+----------------+ | Group | Sign-in speed | Sign-in timing | +---------------------+---------------+----------------+ | Control | (default) | (default) | | Speedy | Speedy | (default) | | Deferred | (default) | Deferred | | Speedy and Deferred | Speedy | Deferred | +---------------------+---------------+----------------+
这样做的好处是，您可以更深入地了解参加这两个实验是否确实以您怀疑的方式影响了您的用户。
它应该能够 运行 相互排斥 A/B 并行利用 "activation event" 测试实验，但是，它需要额外的工作来维护客户端的一些状态。
我只会在安装时将 property 设置为 1~10 之间的随机数。
那么您应该可以通过使用它来过滤用户来"exclusive A/B testing"。