A/B 测试中需要 bonferroni 校正
Need of bonferroni correction in A/B testing
我是数据科学领域的新手。我看到以下声明：
我们在 A/B 测试中选择的指标越多，偶然获得显着差异的机会就越大。
为了消除这个问题，我们使用 Bonferroni 校正方法。
第一个语句是什么意思？它如何增加误报的机会？ Bonferroni 校正方法如何帮助我们？
当 p 值为 0.05（这是统计显着性的常用水平）时，您将有 5% 的时间得到假阳性结果。因此，如果在你的分析中你有一个测试，你的误报几率是 5%。如果你有两个测试，你将有 5% 的第一个和 5% 的第二个。 等等.
因此，每增加一项测试，您的风险就会增加。不过，由于您希望将 total 风险水平保持在 0.05，您可以设置更严格的统计显着性水平（较小的 p 值），或者使用一些统计方法来纠正多重比较。 Bonferroni校正就是其中一种方法。
我是数据科学领域的新手。我看到以下声明：
我们在 A/B 测试中选择的指标越多，偶然获得显着差异的机会就越大。
为了消除这个问题，我们使用 Bonferroni 校正方法。
第一个语句是什么意思？它如何增加误报的机会？ Bonferroni 校正方法如何帮助我们？
当 p 值为 0.05（这是统计显着性的常用水平）时，您将有 5% 的时间得到假阳性结果。因此，如果在你的分析中你有一个测试，你的误报几率是 5%。如果你有两个测试，你将有 5% 的第一个和 5% 的第二个。 等等.
因此，每增加一项测试，您的风险就会增加。不过，由于您希望将 total 风险水平保持在 0.05，您可以设置更严格的统计显着性水平（较小的 p 值），或者使用一些统计方法来纠正多重比较。 Bonferroni校正就是其中一种方法。