p 值边界显着？进一步研究？
p-value borderline significant? Further study?
我正在学习 AB 测试，运行 遇到了一些问题。
在临界显着 p 值的事件中，假设 p = 0.049 和 p = 0.051，真的有那么大不同吗？
如果我的 p 值为 0.051，我该怎么办？收集更多信息会很昂贵，但我也在犹豫是否接受 null。
此外，如果我对具有一个特征的数据子集进行进一步研究（即，如果我得到 p = 0.051 进行一般研究，然后将数据分成 sports/movies/books，以及发现 p_sports = 0.01，p_movies = 0.07，p_books = 0.055)，我可以得出运动类别具有统计显着性的结论吗？
谢谢！
在任何情况下，您都必须牢记，检验每个假设都是有代价的，如果您要检验多个假设，则必须了解 inflation 可能发生的 I 类错误（https://en.wikipedia.org/wiki/Multiple_comparisons_problem)
你的建议不是最好的方法；结果已知后的任何测试都属于 post-hoc 分析 (https://en.wikipedia.org/wiki/Post_hoc_analysis) 的类别。不管怎样，这些做法都应该在观察数据之前就做好计划，否则就是盲目的追逐。
如果您遇到这种特定情况，您应该说明您的原假设和 alpha 水平（在该水平下您开始拒绝原假设）。如果测试给你 0.051 而你说 alpha 0.05，那么你不应该拒绝 null（软件会这样做）。另外，请确保这是您的最终答案（检查遗漏的案例等）。在此之后，您总是会进行讨论以详细说明为什么会得到您的结果，甚至会展示您 post-hoc 分析的结果并提出问题。如果您有 post-hoc 项分析结果显着，请将其与之前的研究结果联系起来。如果这些结果有意义，那么任何具有适当设计的下一个研究工作都应该回答那个特定的问题。
我正在学习 AB 测试，运行 遇到了一些问题。
在临界显着 p 值的事件中，假设 p = 0.049 和 p = 0.051，真的有那么大不同吗？
如果我的 p 值为 0.051，我该怎么办？收集更多信息会很昂贵，但我也在犹豫是否接受 null。
此外，如果我对具有一个特征的数据子集进行进一步研究（即，如果我得到 p = 0.051 进行一般研究，然后将数据分成 sports/movies/books，以及发现 p_sports = 0.01，p_movies = 0.07，p_books = 0.055)，我可以得出运动类别具有统计显着性的结论吗？
谢谢！
在任何情况下，您都必须牢记，检验每个假设都是有代价的，如果您要检验多个假设，则必须了解 inflation 可能发生的 I 类错误（https://en.wikipedia.org/wiki/Multiple_comparisons_problem) 你的建议不是最好的方法；结果已知后的任何测试都属于 post-hoc 分析 (https://en.wikipedia.org/wiki/Post_hoc_analysis) 的类别。不管怎样，这些做法都应该在观察数据之前就做好计划，否则就是盲目的追逐。 如果您遇到这种特定情况，您应该说明您的原假设和 alpha 水平（在该水平下您开始拒绝原假设）。如果测试给你 0.051 而你说 alpha 0.05，那么你不应该拒绝 null（软件会这样做）。另外，请确保这是您的最终答案（检查遗漏的案例等）。在此之后，您总是会进行讨论以详细说明为什么会得到您的结果，甚至会展示您 post-hoc 分析的结果并提出问题。如果您有 post-hoc 项分析结果显着，请将其与之前的研究结果联系起来。如果这些结果有意义，那么任何具有适当设计的下一个研究工作都应该回答那个特定的问题。