请教如何计算statistical power？

Sherry_Tsai

kenny好，大家好。

最近看论文，提到统计的第二类错误（beta），与第一类错误（alpha）相对应。
( r5 [  U9 q5 m# v7 M% p其中statistical power=1-beta
+ o7 T, Q+ [) A1 q
很多学者的论文中都提到了statistical power与样本数N，alpha水平，以及effect size相关。但是我不知道如何具体的计算statistical power。

# ?% k- C$ }. ~另外，cohen（1988）的书里对t检验，F检验，chi-square 等，提出在三种不同的effect size水平下的statistical power的计算公式、如果计算SEM的statistical power就是对应于chi-square吗？
: M) ^4 y4 y# t6 p* G
谢谢

Kenneth

Sherry, 我这样的比喻吧。如果 effect size （在这里是相关系数）是.80，你随便抽一个样本，样本的相关>0的机会有多大？答案自然是极其大。类似的，如果我有一个相对小的样本，里面可以找到的x-y值，可以让我计算出一个等如零的相关的机会是多少？答案自然是很少。
相对来说，如果 effect size 是.01，我是有很大机会在抽样中找到支持 Rxy=0 的x-y值的。所以，我就要一个很大的样本，才可以保证我有足够的“x-y对”（x-y values），让我可以把这个真正的 Rxy=.01 表现出来。

chienhsin

回复 15楼 Kenneth 的帖子
( V: Q0 h. B( e3 I. h! g
" H- C- [2 u' ^  @, I) g
6 y* e* B, H9 Z9 ~: b; O    我建議多給信賴區間這個資訊，讓讀者自己選擇怎麼使用我們估計出來的係數。
9 U  Q+ I0 S: B, P% d/ O以迴歸係數為例，顯著性檢定只提供某係數是不是=0(有沒有解釋能力)。
信賴區間的資訊可能對實務經理人更為實用。

) [' J2 f0 p  c7 ~6 a  z! y) k另外，Kenny提到的1-3選項與樣本數也有關係，我會注意樣本數是不是不合理的「大」。
( d8 j! G! ?% y( Z# {: ?- w4 g
如果樣本大到幾近普查，那也不需要抽樣檢定了。
# ~0 R0 Q9 U0 Q: c. z+ G/ Y  M) h
& o1 S: ~8 F$ R, ?$ C

0 P, M. x9 t: G& x; F0 Y' F# t

Sherry_Tsai

回复 15楼 Kenneth 的帖子

我个人的思考是对应于kenny的猜测1。
   

Kenneth

如果 effect size 是 0.01 ，但是显著性是 p<.01，哪如何理解呢？
( I' U- _( g9 C（1）没有practical significance，不用考虑；
（2）理论还是正确，因为 effect size 不是 0；
（3）估计会有误差，反正是显著就好了。
你会选择哪一个呢？（还是还有其他理解？）

Gaolp

回复 12楼 chienhsin 的帖子

- k$ L7 ]- m: _: K7 Y
    是的，我看到过几千人的样本，变量间的相关系数很小，但是显著性很高***

Kenneth

是的。Chienhsin 谈的问题是 statistical significance 与 practical significance 的关系。这正正说明了很多人（包括reviewers）追求统计上的显著（statistical significance）是因为他们不太懂统计的原理。

chienhsin

回复 10楼 Sherry_Tsai 的帖子
- @' }" D$ e) m$ |) k9 |

在alpha value(type 1 error的機率)固定之下，effect size愈小，所需達到顯著的樣本數愈大。

Effect size可以想成H0 與 H1之間的差異，當要檢定的差異愈大(越容易看到差異)，所需樣本愈小；要檢定的差異愈小，所需樣本愈大。越細微的差異，需要愈多的樣本才能達當顯著，這是因為樣本越大，標準誤會越小，估計出來的係數的t-value會愈大。
- h( ~+ ~% w; C
但是愈多的樣本也會造成power越大(1- beta)，衍生另外一個問題：亦即雖然係數顯著，但是effect size事實上是很細微的。 這裡的問題在於，這麼小的細微差異對實務有實際的含意嗎？
2 y2 x  |- k: ?8 [( G. J理論上，當樣本無限大時，power會趨近於1，所有小差異都會是顯著。

6 s$ L- @+ ^* @8 B" s* I
& L6 ^5 m9 _1 z4 e% Y

Kenneth

回复 10楼 Sherry_Tsai 的帖子
+ a$ k/ Z4 i# T, u: x: v5 l
8 c4 m7 P7 _* t. JSherry, 这当然是啊！Effect size 越小，你会找到它的机会就越低，需要一个较大的样本才可以找到它了。「找到它」的意思就是发现一个显著的结果（也就是母体参数不等如零）。
   
     
在上图中，左边是你假设的分布，你的虚无假设是 β=0。如果这是真的（β=0），那你用bc 作为临界点，找到β>0的机会是黑色的部分。但是当真正的 β是黄色的分布是，你找到β>0的机会是红色的框框。所以β越大（也就是effect size 越大），黄色的分布就越往右边移，你发现样本的估计大于bc
的机会（红色的框框）就越大。因为power是「决定β>0的机会」，所以effect size 越大，power 越大。

  y; N' C% z) Y: q! t* h
+ B: j  E$ M8 Q& N. X; xfile:///C:/Users/MNLAW_%7E1/AppData/Local/Temp/moz-screenshot.png

Sherry_Tsai

        多谢kenny和大家的解答。
0 G* ^" w" z# T9 ^4 O* W
6 c$ x# i$ q- c& s        关于kenny所说的明确问题，确实，对于相关的概念，我是比较混乱的，所以这几天又查阅了些文献。找到了这样的一段话
        “Cohen (1992: 158) provided an example of a regression model with three predictors, a significance level of p = 0.05, and an 80 percent likelihood of identifying the relationship. The minimum sample size is 34 for a large effect, 76 for a moderate effect, and 547 for a small effect.”
       个人的理解这里的80 percent likelihood of identifying the relationship，应该就是意味着statistical power=0.8； 然后比较困惑的为什么随着effect size的减少，样本量越来越大（不知道我理解的是否对）。

. I' t( Q# E* K+ d, D$ R7 d, G: O( l        感谢chienhsin   和 Gaolp  对于软件的建议，只是我概念上还是糊涂的，不知道如何操作软件-_-.

' o- @7 s# x5 y2 _3 @1 D        感谢jkliang 提供的文献，我试着看能在大陆下载到否。
" E1 {. C1 z  i" o
        再次致谢！
9 D: D: O8 ]& Z




* s. x/ G- `. X' z