如果计算相对拒绝频率，如何衡量是否与显着性水平显着不同？ （R 中的正态性检验）
If computed the relative rejection frequency, how to measure if significantly different from significance levels? (Normality tests in R)
专业人士和学生，
我有 10%、5% 和 1% 的显着性水平，并且由于对我上一个问题的回答，我计算了相对拒绝频率。
replicate_sw10 = replicate(1000,shapiro.test(rnorm(10)))
table(replicate_sw10["p.value",]<0.10)/1000
> FALSE TRUE
> 0.909 0.091
但是如果我对各种样本量 (T=10,30,50,100,500) 执行此操作并通过 excel 手动存储。也许有一种更简单的方法可以在 function/list 中计算它。
但是，如果它与显着性水平有显着差异，我该如何衡量？
（提示如下：拒绝测试可以建模为伯努利随机变量）
此致
因此，最简单的方法是.. 因此，如果您执行 1000 次测试，您会期望大约 0.1 的测试具有 pvalue < 0.1。这就像你说的伯努利试验，你可以使用二项式检验来查看与你的结果一样极端的概率：
set.seed(100)
replicate_sw10 = replicate(1000,shapiro.test(rnorm(10)))
obs_significant = sum(replicate_sw10["p.value",]<0.1)
binom.test(obs_significant,n=1000,p=0.1)
Exact binomial test
data: obs_significant and 1000
number of successes = 118, number of trials = 1000, p-value = 0.06479
alternative hypothesis: true probability of success is not equal to 0.1
95 percent confidence interval:
0.09865252 0.13962772
sample estimates:
probability of success
0.118
专业人士和学生，
我有 10%、5% 和 1% 的显着性水平，并且由于对我上一个问题的回答，我计算了相对拒绝频率。
replicate_sw10 = replicate(1000,shapiro.test(rnorm(10)))
table(replicate_sw10["p.value",]<0.10)/1000
> FALSE TRUE
> 0.909 0.091
但是如果我对各种样本量 (T=10,30,50,100,500) 执行此操作并通过 excel 手动存储。也许有一种更简单的方法可以在 function/list 中计算它。
但是，如果它与显着性水平有显着差异，我该如何衡量？ （提示如下：拒绝测试可以建模为伯努利随机变量）
此致
因此，最简单的方法是.. 因此，如果您执行 1000 次测试，您会期望大约 0.1 的测试具有 pvalue < 0.1。这就像你说的伯努利试验，你可以使用二项式检验来查看与你的结果一样极端的概率：
set.seed(100)
replicate_sw10 = replicate(1000,shapiro.test(rnorm(10)))
obs_significant = sum(replicate_sw10["p.value",]<0.1)
binom.test(obs_significant,n=1000,p=0.1)
Exact binomial test
data: obs_significant and 1000
number of successes = 118, number of trials = 1000, p-value = 0.06479
alternative hypothesis: true probability of success is not equal to 0.1
95 percent confidence interval:
0.09865252 0.13962772
sample estimates:
probability of success
0.118