为什么我不能在 Optimizely 中瞄准我的目标的补充?

Why can't I target the complement of my goal in Optimizely?

Optimizely 的 Sample Size calculator 表明,较高的基线转化率会导致 A/B-test 所需的样本量较小。因此,我不想最大化我的转化目标,而是想最小化相反的情况,即没有达到目标。
对于转化率低于 50% 的每个目标,其补码将高于 50%,因此如果有针对性,则需要较小的样本量。

举个例子:我不想衡量访问 payment-success.html 的所有用户,而是衡量所有 访问它的用户,并尝试将其最小化。如果我的推理是正确的,这通常需要更小的样本量!

Optimizely 只允许我将综合浏览量作为目标,而不是不是-综合浏览量。
我意识到我可能遗漏或误解了这里的重要内容,但如果是这样,那是什么?

只是回答这是否可能(不解决您的设置是否会导致相同的结果),您是对的,Optimizely 综合浏览量目标不允许 不是,但您可以使用 Regex 匹配类型来实现您想要的(请参阅第 3 点中的 'URL Match Type' here). In this case it would look like this, taken from this answer here(这也解释了 not 在 Regex 中匹配,说明为什么 Optimizely 没有在产品中构建 not 页面浏览量)。

^((?!payment-success\.html).)*$

希望这能帮助你到达你想要的地方。

从统计上看,您的方法没有任何问题,但不幸的是,它不会产生预期的缩短持续时间的效果。

虽然您会减少误差范围,但您会按比例减少提升,从而使您花费相同的时间来达到信心。

由于提升是按基准转化率的百分比计算的,因此较大基准的转化率的相同变化将产生较小的提升。

假设您的实际转化率为 10%,而测试最终将其提高到 12%。反向转换率为 90%,降低到 88%。在这两种情况下都是 2% 的变化,但是 2% 到 10% 的变化(20% 的提升)比到 90% 的变化(仅 -2.22% 的提升)要大得多。

实际上,你 运行 有更大的风险将人们错误地放入目标中。您知道点击成功页面的人应该被计入目标。我很确定你的建议会导致 在用户看到实验后不在成功页面上的每个综合浏览量 都被视为目标。

假设您正在测试主页。 A 和 B 都登陆主页并查看实验。

  • A 访问了另外 1 个页面并离开了
  • B 访问了另外 1 个页面并购买了东西

如果您的目标是在成功页面上设置的,那么只有 B 会触发该目标。如果在所有其他页面上都设置了目标,那么两个人都会触发该目标。这显然不是相反的。

事实上,如果在用户第一次看到实验后有任何页面需要到达成功页面(所以除非您正在测试结帐的最后一步),每个人 将触发反向浏览量目标(无论他们是否点击成功页面)。

Optimizely 综合浏览量目标不仅仅针对包含在您实验的 URL 目标中的页面。任何看过实验并在之后的任何时候点击该页面的人都被计算在内。