确定 A/B 测试的样本量,超过 2 个变体

Determine sample size for A/B testing, more than 2 variants

如果我们想决定此类测试的样本量,我们应该使用什么 R 函数:

10 个广告,我们想通过测试来决定哪些广告的点击率最高。我们可以计算流量和点击率。

我不认为不同体验的数量有什么不同。在每一个中,您将一个指标与对照中的相同指标进行比较,因此在每个指标中您将拥有自己的重要样本量:与对照的差异越小,样本量越大。

近年来争论不休的一点是相关的:在 运行 时间,如何优化体验之间的流量分配,以便在调用所有变体时,大多数已经消失通过你的获胜经历。 Google(实验)为此设计了一种他们称为 Multi-Arm Bandid 算法的东西,但据我所知,它尚未在同行评审的期刊上发表,这可能是有原因的。

祝你好运!