中人网

标题: 请教如何计算statistical power？ [打印本页]
作者: Sherry_Tsai    时间: 2010-10-15 21:57
标题: 请教如何计算statistical power？
kenny好，大家好。
9 B1 A- z# W; C" d, R
8 k; t3 L# u2 g- B6 ~' H6 I最近看论文，提到统计的第二类错误（beta），与第一类错误（alpha）相对应。
; Z5 X4 v* o5 C3 z# F7 k: k5 u其中statistical power=1-beta
$ r9 {# t/ p. P7 C
" z+ U# P$ f# S2 e0 ^很多学者的论文中都提到了statistical power与样本数N，alpha水平，以及effect size相关。但是我不知道如何具体的计算statistical power。
+ r) }& K: t+ X: V+ U( C- W' \) A$ C* S
另外，cohen（1988）的书里对t检验，F检验，chi-square 等，提出在三种不同的effect size水平下的statistical power的计算公式、如果计算SEM的statistical power就是对应于chi-square吗？
- A6 T0 U  u9 J/ M4 O4 K; I$ W" Z  k5 `- I; Y* C# Y
谢谢 6 v% m& G* {# }" a  Y$ ]: M
作者: Gaolp    时间: 2010-10-15 23:05
我觉得是R square，大家的意见呢？
作者: mostwanted    时间: 2010-10-15 23:18
chi-square吧，SEM就是用chi-square来检验FIT的好不好的，Regression和ANOVA是R方吧。
作者: Gaolp    时间: 2010-10-16 07:00
回复 3楼 mostwanted 的帖子
% |# {# i0 U+ P' {5 a/ s
6 [( W; Q4 _- o' n3 l+ [' m
6 x# F, X" @' Q8 E& O    我觉得fit 和statistical power不是一个问题？？
作者: mostwanted    时间: 2010-10-16 12:11
回复 4楼 Gaolp 的帖子
- F* z& M* s1 e4 l6 C- g
9 n) j+ h; u6 }3 I" O2 s6 U" x# g. `* {5 _& \" B: A
    哈哈，可能我表达的问题，统计功效就是总体中效应值存在，在样本中能把它detect出来的能力，SEM不就是通过X方变化显著与否来拒绝虚无假设的嘛。。
作者: Kenneth    时间: 2010-10-16 13:17
回复 1楼 Sherry_Tsai 的帖子1 A+ j9 E' L8 F  |7 k3 P, M
+ f8 o& ?+ O: O5 ^5 J  d
Sherry, 我猜你的问题大概要再明确一点。Statistical power （统计功效）是对一个统计测验而言的。1 a. h; k. x% b
/ X5 B/ @0 {# ^) E7 u' F) E
一般的统计测验都是 Ho:某统计量=0。 比如回归系数的测验就是 Ho:β=0。这个统计测验的「统计功效」的意思是当β≠0时，这个测验拒绝虚无假设（null hypothesis）的能力。 所以讲「统计功效」，一定要讲是哪一个虚无假设，并它对应的统计测验。
( k1 s+ v  v- [6 Q, O5 ~  m$ ~; Y6 _5 q* T& B2 e. Q
SEM不是一个虚无假设或统计测验，它是一个分析数据的方法。打个比喻，你的问题就好像在问如何计算因子分析的统计功效一样。一个数据分析的方法内就会有很多不同的统计量，每一个的统计功效都不同。比如，回归分析内就有F-distribution 的统计量和t-distribution的统计量。
作者: jkliang    时间: 2010-10-19 11:12
可參考，結構方程模式的檢定力分析與樣本數決定，邱晧政(2008)，量化研究學刊，第二卷，第一期。
作者: chienhsin    时间: 2010-10-19 12:43
我建議一個免費軟體G*Power，一般的統計方法的power用此軟體應該夠了。
+ v2 P! n; d( I+ W5 d+ Y0 @$ ~. I' c9 Q/ Q
奇怪！我不能貼上網址，請各位自己google   "G*Power"就能找到軟體網頁。; e& H; z1 G8 j6 a: I4 O, q" h
6 t, ~; `- E- G9 t: Z' t

/ D0 d0 h+ M! W, k 本帖最后由 chienhsin 于 2010-10-19 12:45 编辑 & }+ A/ `8 G7 k

; y' ]& g2 |0 F/ T6 D
作者: Gaolp    时间: 2010-10-19 17:58
回复 8楼 chienhsin 的帖子+ M* p! A/ g( Q8 q
请问是这个吗？
. L" {6 I8 z2 S- ]( @8 j
4 f2 [& |# f7 {5 F0 p+ b: q3 \+ n9 h3 _3 d5 Z) G9 ?- X* {& R

, D3 ?' x1 p8 ~7 L    [attach]24993[/attach]) @& Z9 p0 h7 e3 E2 k
作者: Sherry_Tsai    时间: 2010-10-20 11:35
        多谢kenny和大家的解答。" M8 z8 R' f' m- Q

, {+ }  ^" ?7 K8 A, c        关于kenny所说的明确问题，确实，对于相关的概念，我是比较混乱的，所以这几天又查阅了些文献。找到了这样的一段话
/ `4 [( M+ a% P        “Cohen (1992: 158) provided an example of a regression model with three predictors, a significance level of p = 0.05, and an 80 percent likelihood of identifying the relationship. The minimum sample size is 34 for a large effect, 76 for a moderate effect, and 547 for a small effect.”1 ]& l  F* F6 y, r
       个人的理解这里的80 percent likelihood of identifying the relationship，应该就是意味着statistical power=0.8； 然后比较困惑的为什么随着effect size的减少，样本量越来越大（不知道我理解的是否对）。
% C. y2 o$ R" _! t% j$ p5 a' d! F) p; C; w+ k! C9 l
        感谢chienhsin   和 Gaolp  对于软件的建议，只是我概念上还是糊涂的，不知道如何操作软件-_-. ( V# Q5 x8 u4 n7 ^7 j+ b6 W) _
9 O1 T) Z9 y, F/ S6 S+ N2 x
        感谢jkliang 提供的文献，我试着看能在大陆下载到否。% S8 w! E' _, w7 D& k7 w

$ G# b# Y) D# l/ B. P5 r0 s4 a        再次致谢！0 z5 N- L+ @* \% @( G' t7 M. D& ^

2 h) O! O0 M6 B6 k; z9 Z. l! D4 u  E# _6 e9 I, C- x9 V2 Q( n5 w

0 k% @" ?) M  N" F3 q' \4 j! \ 本帖最后由 Sherry_Tsai 于 2010-10-20 11:36 编辑
  g6 q9 P( K  `
! c$ N3 w8 L0 X! x8 r
作者: Kenneth    时间: 2010-10-20 12:10
回复 10楼 Sherry_Tsai 的帖子
4 g3 n8 ?4 d& j  w' P, I% L+ A, m) I
Sherry, 这当然是啊！Effect size 越小，你会找到它的机会就越低，需要一个较大的样本才可以找到它了。「找到它」的意思就是发现一个显著的结果（也就是母体参数不等如零）。& z0 G0 Y+ a$ R1 V* W8 I
   
0 T0 _) n& j+ G; w, \* x     * g/ \, [) `' ?0 v
在上图中，左边是你假设的分布，你的虚无假设是 β=0。如果这是真的（β=0），那你用bc 作为临界点，找到β>0的机会是黑色的部分。但是当真正的 β是黄色的分布是，你找到β>0的机会是红色的框框。所以β越大（也就是effect size 越大），黄色的分布就越往右边移，你发现样本的估计大于bc
/ G6 Y: A% o* u, F) E' @! L的机会（红色的框框）就越大。因为power是「决定β>0的机会」，所以effect size 越大，power 越大。
- Y/ Q  G. s* |. j( n) Q  g/ d  j+ f) Q7 Q" r  D

  }8 N2 E$ ?& B3 zfile:///C:/Users/MNLAW_%7E1/AppData/Local/Temp/moz-screenshot.png
作者: chienhsin    时间: 2010-10-20 12:19
回复 10楼 Sherry_Tsai 的帖子
" j- ?! Y9 _' C' K8 d  q1 M" _$ C; H/ X5 \. q* k

- \- A9 f7 V# g( Z7 r2 \- _6 T  J 在alpha value(type 1 error的機率)固定之下，effect size愈小，所需達到顯著的樣本數愈大。1 q! E  D" N+ t- P$ p" S
! A# ~. u3 w1 ?" t
Effect size可以想成H0 與 H1之間的差異，當要檢定的差異愈大(越容易看到差異)，所需樣本愈小；要檢定的差異愈小，所需樣本愈大。越細微的差異，需要愈多的樣本才能達當顯著，這是因為樣本越大，標準誤會越小，估計出來的係數的t-value會愈大。
3 \0 F  v" K/ V
$ ?! |. f% m4 m4 `8 e但是愈多的樣本也會造成power越大(1- beta)，衍生另外一個問題：亦即雖然係數顯著，但是effect size事實上是很細微的。 這裡的問題在於，這麼小的細微差異對實務有實際的含意嗎？  G9 H" f) n. O
理論上，當樣本無限大時，power會趨近於1，所有小差異都會是顯著。8 [+ W2 P7 d6 K1 Y8 Z
% k; E% t0 P7 S! W

8 i3 U! c: G0 ?; ^+ `0 G+ H
* t0 O  l$ ?- W7 q
作者: Kenneth    时间: 2010-10-20 21:11
是的。Chienhsin 谈的问题是 statistical significance 与 practical significance 的关系。这正正说明了很多人（包括reviewers）追求统计上的显著（statistical significance）是因为他们不太懂统计的原理。
作者: Gaolp    时间: 2010-10-23 03:38
回复 12楼 chienhsin 的帖子$ t: q1 b. H" o# {$ b4 A6 e7 V6 C7 Y/ A
1 ?6 }7 z. @# R! s
5 b& ~+ j! [* w' Q/ q& F( A7 C. d. J
    是的，我看到过几千人的样本，变量间的相关系数很小，但是显著性很高***
作者: Kenneth    时间: 2010-10-23 23:54
如果 effect size 是 0.01 ，但是显著性是 p<.01，哪如何理解呢？/ }. e+ M, U( z+ }
（1）没有practical significance，不用考虑；
/ D0 f1 e8 G0 g（2）理论还是正确，因为 effect size 不是 0；' B% m0 e! [. D- h$ u" S3 D
（3）估计会有误差，反正是显著就好了。
- W) ?5 J$ R  O9 f8 C5 E) o! G) E8 U你会选择哪一个呢？（还是还有其他理解？）
作者: Sherry_Tsai    时间: 2010-10-26 16:45
回复 15楼 Kenneth 的帖子
' `8 z5 b7 L( b, T7 ]3 h" N6 v
& i! }# _  G8 @& k我个人的思考是对应于kenny的猜测1。, j) D* H' @2 }- p
   
作者: chienhsin    时间: 2010-10-26 20:11
回复 15楼 Kenneth 的帖子1 ^8 R4 o( p  `  }( E8 r9 E

4 {- A. L) a- u/ G2 U
. @' E" I! ^  j, v0 {& f/ Y# E    我建議多給信賴區間這個資訊，讓讀者自己選擇怎麼使用我們估計出來的係數。' ]& Q4 ?+ m& a# Y8 O3 f1 E  B
以迴歸係數為例，顯著性檢定只提供某係數是不是=0(有沒有解釋能力)。, Z$ a+ [( X/ k) j9 v
信賴區間的資訊可能對實務經理人更為實用。% `. I4 a  z: m0 D) @

1 A( U; W) z; Q( f( U, w另外，Kenny提到的1-3選項與樣本數也有關係，我會注意樣本數是不是不合理的「大」。
4 @% \; }% P3 H8 k
2 E4 g0 D% v/ v1 ]1 f如果樣本大到幾近普查，那也不需要抽樣檢定了。
1 b& n$ g2 ~. E9 s  i3 u: n. r* q3 A% K3 [1 b* h/ g2 ^
本帖最后由 chienhsin 于 2010-10-26 20:15 编辑
" M6 y- y, q  |% }, f' I6 d9 \0 K+ s2 {- c
作者: Kenneth    时间: 2010-11-2 11:25
Sherry, 我这样的比喻吧。如果 effect size （在这里是相关系数）是.80，你随便抽一个样本，样本的相关>0的机会有多大？答案自然是极其大。类似的，如果我有一个相对小的样本，里面可以找到的x-y值，可以让我计算出一个等如零的相关的机会是多少？答案自然是很少。
5 `9 ]* X4 o% r8 P8 m相对来说，如果 effect size 是.01，我是有很大机会在抽样中找到支持 Rxy=0 的x-y值的。所以，我就要一个很大的样本，才可以保证我有足够的“x-y对”（x-y values），让我可以把这个真正的 Rxy=.01 表现出来。



欢迎光临 中人网 (http://bbs.chinahrd.net/) Powered by Discuz! X2.5