P 值、显着性水平和假设
P-value, significance level and hypothesis
我对 p 值的概念感到困惑。通常，如果 p 值大于 alpha（通常为 0.05），我们将无法拒绝原假设；如果 p 值小于 alpha，我们将拒绝原假设。据我了解，如果 p 值大于 alpha，则两组之间的差异仅来自抽样误差或 chance.So 远一切都很好。但是，如果 p 值小于 alpha，结果是 统计显着，我假设它是 统计不显着（因为，在在 p 值小于 alpha 的情况下，我们拒绝零假设）。
基本上，如果结果具有统计显着性，则拒绝原假设。但是，如果一个假设具有统计显着性，怎么能拒绝它呢？从"statistically significant"的话中，我了解到结果是好的。
您误解了显着性在 p 值方面的含义。
我将在下面尝试解释：
让我们假设一个关于两个总体均值相等的测试。我们将通过从每个总体中抽取一个样本并计算 p 值来执行 t 检验来测试这一点。
原假设和备选假设：
H0: m1 - m2 = 0
H1: m1 - m2 != 0
这是一个双尾测试（虽然对此并不重要）。
让我们假设您得到的 p 值为 0.01，并且您的 alpha 为 0.05。 p 值是从两个总体（m1 和 m2）中抽样时均值相等的概率。这意味着均值相等的概率为 1%，换句话说，100 个样本对中只有 1 个的均值差为 0。
两个均值相等的概率如此低使我们确信（使我们确定）总体的均值不相等，因此我们认为结果具有统计显着性。
让我们认为结果重要的阈值是多少？这由显着性水平 (a) 决定，在本例中为 5%。
p 值小于显着性水平使我们认为结果显着，因此我们确信我们可以拒绝原假设，因为 NULL 假设为真的概率非常低。
我希望现在明白了！
我举一个我经常和我的学生一起使用的例子，以解释原假设、alpha 和显着性的概念。
假设我们正在玩一轮扑克。我发牌，我们下注。嘿，幸运的我！我第一次拿到同花。你诅咒你的运气，我们再次交易。我又拿到同花并赢了。又一轮，又一次，我得到 4 个 A：此时你踢 table 并称我为作弊者："this is bs! You're trying to rob me!"
让我们从概率的角度解释一下：第一手同花是有可能的：任何人都有可能走运。连续两次太幸运的可能性较小。终于有概率连续三次获得真幸运了。但是对于第三个镜头，您声明："the probability that you get SO LUCKY is TOO SMALL. I REJECT the idea that you're just lucky. I'm calling you a cheater"。也就是说，您拒绝了零假设（什么都没有发生的假设！）
在所有情况下，零假设都是："This thing we are observing is an effect of randomness"。在我们的示例中，零假设声明："I'm just getting all these good hands one after the other, because i'm lucky"
p 值是与事件关联的值，假设它是随机发生的。在正确洗牌后，您可以计算出在扑克中获得好牌的几率。或者例如：如果我抛一枚硬币 20 次，我连续获得 20 次正面朝上的几率是 1/(2^20) = 0.000000953（非常小）。这是连续 20 次正面朝上，抛掷 20 次的 p 值。
"Statistically significant"，表示"This event seems to be weird. It has a really tiny probability of happening by chance. So, i'll reject the null hypothesis."
Alpha，或临界 p 值，是您 "kick the table" 并拒绝原假设的神奇点。在实验性应用程序中，您可以提前定义它（例如 alpha=0.05）。在我们的扑克示例中，您可以在 3 手幸运牌后或 12 局中的 10 局后称我为作弊者，依此类推。这是一个概率的门槛。
好的 p 值 你应该至少知道 零假设 和 备择假设
零假设意味着举个例子，我们有 2 朵花，它说 它们之间没有显着差异
备择假设是说它们之间存在 显着差异
是的，大多数数据科学家认为 0.05 的 p 值的显着值是多少，但它是基于研究（显着水平的值）
0.5
0.05
0.01
0.001
可以作为p值
好的，现在 p 值由您获取，但接下来要做什么
如果您的模型 p 值为 0.03 并且 您已取 0.05 显着值，因此您必须拒绝零假设意味着 2 朵花之间存在显着差异或简单如所述
你模型的 p 值 < 显着水平而不是拒绝它
并且您的模型 p 值大于零假设可接受的水平。
我对 p 值的概念感到困惑。通常，如果 p 值大于 alpha（通常为 0.05），我们将无法拒绝原假设；如果 p 值小于 alpha，我们将拒绝原假设。据我了解，如果 p 值大于 alpha，则两组之间的差异仅来自抽样误差或 chance.So 远一切都很好。但是，如果 p 值小于 alpha，结果是 统计显着，我假设它是 统计不显着（因为，在在 p 值小于 alpha 的情况下，我们拒绝零假设）。
基本上，如果结果具有统计显着性，则拒绝原假设。但是，如果一个假设具有统计显着性，怎么能拒绝它呢？从"statistically significant"的话中，我了解到结果是好的。
您误解了显着性在 p 值方面的含义。
我将在下面尝试解释：
让我们假设一个关于两个总体均值相等的测试。我们将通过从每个总体中抽取一个样本并计算 p 值来执行 t 检验来测试这一点。
原假设和备选假设：
H0: m1 - m2 = 0
H1: m1 - m2 != 0
这是一个双尾测试（虽然对此并不重要）。
让我们假设您得到的 p 值为 0.01，并且您的 alpha 为 0.05。 p 值是从两个总体（m1 和 m2）中抽样时均值相等的概率。这意味着均值相等的概率为 1%，换句话说，100 个样本对中只有 1 个的均值差为 0。
两个均值相等的概率如此低使我们确信（使我们确定）总体的均值不相等，因此我们认为结果具有统计显着性。
让我们认为结果重要的阈值是多少？这由显着性水平 (a) 决定，在本例中为 5%。
p 值小于显着性水平使我们认为结果显着，因此我们确信我们可以拒绝原假设，因为 NULL 假设为真的概率非常低。
我希望现在明白了！
我举一个我经常和我的学生一起使用的例子，以解释原假设、alpha 和显着性的概念。
假设我们正在玩一轮扑克。我发牌，我们下注。嘿，幸运的我！我第一次拿到同花。你诅咒你的运气，我们再次交易。我又拿到同花并赢了。又一轮，又一次，我得到 4 个 A：此时你踢 table 并称我为作弊者："this is bs! You're trying to rob me!"
让我们从概率的角度解释一下：第一手同花是有可能的：任何人都有可能走运。连续两次太幸运的可能性较小。终于有概率连续三次获得真幸运了。但是对于第三个镜头，您声明："the probability that you get SO LUCKY is TOO SMALL. I REJECT the idea that you're just lucky. I'm calling you a cheater"。也就是说，您拒绝了零假设（什么都没有发生的假设！）
在所有情况下，零假设都是："This thing we are observing is an effect of randomness"。在我们的示例中，零假设声明："I'm just getting all these good hands one after the other, because i'm lucky"
p 值是与事件关联的值，假设它是随机发生的。在正确洗牌后，您可以计算出在扑克中获得好牌的几率。或者例如：如果我抛一枚硬币 20 次，我连续获得 20 次正面朝上的几率是 1/(2^20) = 0.000000953（非常小）。这是连续 20 次正面朝上，抛掷 20 次的 p 值。
"Statistically significant"，表示"This event seems to be weird. It has a really tiny probability of happening by chance. So, i'll reject the null hypothesis."
Alpha，或临界 p 值，是您 "kick the table" 并拒绝原假设的神奇点。在实验性应用程序中，您可以提前定义它（例如 alpha=0.05）。在我们的扑克示例中，您可以在 3 手幸运牌后或 12 局中的 10 局后称我为作弊者，依此类推。这是一个概率的门槛。
好的 p 值 你应该至少知道 零假设 和 备择假设 零假设意味着举个例子，我们有 2 朵花，它说 它们之间没有显着差异 备择假设是说它们之间存在 显着差异
是的，大多数数据科学家认为 0.05 的 p 值的显着值是多少，但它是基于研究（显着水平的值） 0.5 0.05 0.01 0.001 可以作为p值
好的，现在 p 值由您获取，但接下来要做什么
如果您的模型 p 值为 0.03 并且 您已取 0.05 显着值，因此您必须拒绝零假设意味着 2 朵花之间存在显着差异或简单如所述
你模型的 p 值 < 显着水平而不是拒绝它
并且您的模型 p 值大于零假设可接受的水平。