确定 A/B 测试的样本量,超过 2 个变体
Determine sample size for A/B testing, more than 2 variants
如果我们想决定此类测试的样本量,我们应该使用什么 R 函数:
10 个广告,我们想通过测试来决定哪些广告的点击率最高。我们可以计算流量和点击率。
我不认为不同体验的数量有什么不同。在每一个中,您将一个指标与对照中的相同指标进行比较,因此在每个指标中您将拥有自己的重要样本量:与对照的差异越小,样本量越大。
近年来争论不休的一点是相关的:在 运行 时间,如何优化体验之间的流量分配,以便在调用所有变体时,大多数已经消失通过你的获胜经历。 Google(实验)为此设计了一种他们称为 Multi-Arm Bandid 算法的东西,但据我所知,它尚未在同行评审的期刊上发表,这可能是有原因的。
祝你好运!
如果我们想决定此类测试的样本量,我们应该使用什么 R 函数:
10 个广告,我们想通过测试来决定哪些广告的点击率最高。我们可以计算流量和点击率。
我不认为不同体验的数量有什么不同。在每一个中,您将一个指标与对照中的相同指标进行比较,因此在每个指标中您将拥有自己的重要样本量:与对照的差异越小,样本量越大。
近年来争论不休的一点是相关的:在 运行 时间,如何优化体验之间的流量分配,以便在调用所有变体时,大多数已经消失通过你的获胜经历。 Google(实验)为此设计了一种他们称为 Multi-Arm Bandid 算法的东西,但据我所知,它尚未在同行评审的期刊上发表,这可能是有原因的。
祝你好运!