中人网

标题: 请教如何计算statistical power？ [打印本页]
作者: Sherry_Tsai    时间: 2010-10-15 21:57
标题: 请教如何计算statistical power？
kenny好，大家好。' X8 e2 E! {" e4 p
; E2 r4 O# R" F: X; K
最近看论文，提到统计的第二类错误（beta），与第一类错误（alpha）相对应。) w$ L% L! d; V3 Z; x& w1 C
其中statistical power=1-beta+ [; M! a' I6 V

- i4 I# ~# f$ |' s+ k! c# b很多学者的论文中都提到了statistical power与样本数N，alpha水平，以及effect size相关。但是我不知道如何具体的计算statistical power。
. Y, g% B; o8 |% p5 ^% t1 \# U3 I
3 I7 R$ g4 V/ L7 y9 W( }' \另外，cohen（1988）的书里对t检验，F检验，chi-square 等，提出在三种不同的effect size水平下的statistical power的计算公式、如果计算SEM的statistical power就是对应于chi-square吗？
, d* ?- r) V$ k9 h0 T6 G( e
) L3 z- K+ `; m谢谢   \' m' N' s  P+ N- a% ?
作者: Gaolp    时间: 2010-10-15 23:05
我觉得是R square，大家的意见呢？
作者: mostwanted    时间: 2010-10-15 23:18
chi-square吧，SEM就是用chi-square来检验FIT的好不好的，Regression和ANOVA是R方吧。
作者: Gaolp    时间: 2010-10-16 07:00
回复 3楼 mostwanted 的帖子0 l& m. j9 m" s7 u

5 B9 Y/ s) S3 Y2 `; C! H  R  n
1 ]( B& R- I5 W% r4 [' B    我觉得fit 和statistical power不是一个问题？？
作者: mostwanted    时间: 2010-10-16 12:11
回复 4楼 Gaolp 的帖子0 m1 u' W  ^  B* E, ^$ E5 j
( B$ V9 o6 W. d+ L( }

7 Z+ O5 e8 ^: O4 s  B# t4 z, ?7 A/ @    哈哈，可能我表达的问题，统计功效就是总体中效应值存在，在样本中能把它detect出来的能力，SEM不就是通过X方变化显著与否来拒绝虚无假设的嘛。。
作者: Kenneth    时间: 2010-10-16 13:17
回复 1楼 Sherry_Tsai 的帖子
( j; |$ D5 V: J0 |/ v0 h
" J; `  u! c, g0 k- v( eSherry, 我猜你的问题大概要再明确一点。Statistical power （统计功效）是对一个统计测验而言的。
3 ~7 r4 {8 z% M2 _/ J8 j+ n( n) o
一般的统计测验都是 Ho:某统计量=0。 比如回归系数的测验就是 Ho:β=0。这个统计测验的「统计功效」的意思是当β≠0时，这个测验拒绝虚无假设（null hypothesis）的能力。 所以讲「统计功效」，一定要讲是哪一个虚无假设，并它对应的统计测验。1 M0 k# S1 k# x' m

0 |1 U4 t* b; v, zSEM不是一个虚无假设或统计测验，它是一个分析数据的方法。打个比喻，你的问题就好像在问如何计算因子分析的统计功效一样。一个数据分析的方法内就会有很多不同的统计量，每一个的统计功效都不同。比如，回归分析内就有F-distribution 的统计量和t-distribution的统计量。
作者: jkliang    时间: 2010-10-19 11:12
可參考，結構方程模式的檢定力分析與樣本數決定，邱晧政(2008)，量化研究學刊，第二卷，第一期。
作者: chienhsin    时间: 2010-10-19 12:43
我建議一個免費軟體G*Power，一般的統計方法的power用此軟體應該夠了。5 z# c$ V& h# N% {8 Y; E; M! t

5 H  Q) F2 }* V4 D奇怪！我不能貼上網址，請各位自己google   "G*Power"就能找到軟體網頁。+ A5 B# x5 e: y  O! o) g
( c/ O1 U8 g: ~: e  k; S6 ]# Y
. |# N0 D8 o' L; f7 L" ?% M7 v& M
本帖最后由 chienhsin 于 2010-10-19 12:45 编辑
2 i' {" |7 }" s! r8 R* v' B
5 w9 ^" ?+ ^5 m8 z- S# }
作者: Gaolp    时间: 2010-10-19 17:58
回复 8楼 chienhsin 的帖子
- N* I! P; r0 o  {请问是这个吗？6 p& E/ Q9 n/ }4 L0 Z3 l% p

1 F. Q3 ?& ~3 d2 }( @1 T/ q3 [5 R1 q( Z1 Z- w8 I/ p
: e# G! T# q$ L8 i  ~4 d
    [attach]24993[/attach]
2 F5 f  _( P) j  a) [
作者: Sherry_Tsai    时间: 2010-10-20 11:35
        多谢kenny和大家的解答。+ L( z: W8 A0 U9 ^" U" F3 }
$ F; K3 B; X2 E" w0 W+ V: ]1 k) k
        关于kenny所说的明确问题，确实，对于相关的概念，我是比较混乱的，所以这几天又查阅了些文献。找到了这样的一段话) U/ I1 N7 X( U; v; ]# g' |' N
        “Cohen (1992: 158) provided an example of a regression model with three predictors, a significance level of p = 0.05, and an 80 percent likelihood of identifying the relationship. The minimum sample size is 34 for a large effect, 76 for a moderate effect, and 547 for a small effect.”
/ g6 L+ H2 h* |3 b4 G       个人的理解这里的80 percent likelihood of identifying the relationship，应该就是意味着statistical power=0.8； 然后比较困惑的为什么随着effect size的减少，样本量越来越大（不知道我理解的是否对）。. t7 e, ^. x8 i" n8 I3 t+ \& k

9 R: a" ^: A1 T. Y        感谢chienhsin   和 Gaolp  对于软件的建议，只是我概念上还是糊涂的，不知道如何操作软件-_-.
. s7 g% _( h  F3 j; A: r( N0 }& F: |: x* z
        感谢jkliang 提供的文献，我试着看能在大陆下载到否。% z' M  u/ k& H2 d# G7 r* R

4 q* s+ Q$ `' }: |8 J# \$ h        再次致谢！
* t5 G  F1 F6 N, ]$ l
) g! G$ @& w9 f1 V) c! E
$ f+ H. ~2 k8 X" C+ O( |: @& i1 V- b
本帖最后由 Sherry_Tsai 于 2010-10-20 11:36 编辑 4 r) L) |6 X9 L  }3 K8 Y

& P5 {# \8 W$ d* ^
作者: Kenneth    时间: 2010-10-20 12:10
回复 10楼 Sherry_Tsai 的帖子2 I# y4 N* j, t/ |) |8 s

  ^5 i* i  \0 L3 |: E1 zSherry, 这当然是啊！Effect size 越小，你会找到它的机会就越低，需要一个较大的样本才可以找到它了。「找到它」的意思就是发现一个显著的结果（也就是母体参数不等如零）。1 O, @' I9 d3 w9 ^+ Y. [* T: B
    ) M4 u6 ?. S5 W. _
     0 A% ^  `! J9 P+ |6 U. b! T: W
在上图中，左边是你假设的分布，你的虚无假设是 β=0。如果这是真的（β=0），那你用bc 作为临界点，找到β>0的机会是黑色的部分。但是当真正的 β是黄色的分布是，你找到β>0的机会是红色的框框。所以β越大（也就是effect size 越大），黄色的分布就越往右边移，你发现样本的估计大于bc2 X* E& N' g5 B; j
的机会（红色的框框）就越大。因为power是「决定β>0的机会」，所以effect size 越大，power 越大。4 E2 G7 q1 |6 _" C

5 W. L' P7 ?' V9 \
( k6 i; ?# r  b& A1 d% K* {7 T; r% i5 c2 Xfile:///C:/Users/MNLAW_%7E1/AppData/Local/Temp/moz-screenshot.png
作者: chienhsin    时间: 2010-10-20 12:19
回复 10楼 Sherry_Tsai 的帖子7 j; s2 B3 j- ]8 t

( y" L& \/ D# ~# i
7 z. Y' Y* O! P# B 在alpha value(type 1 error的機率)固定之下，effect size愈小，所需達到顯著的樣本數愈大。
" m" z0 `" Y, |8 N. O5 p0 `' a' Q: B
Effect size可以想成H0 與 H1之間的差異，當要檢定的差異愈大(越容易看到差異)，所需樣本愈小；要檢定的差異愈小，所需樣本愈大。越細微的差異，需要愈多的樣本才能達當顯著，這是因為樣本越大，標準誤會越小，估計出來的係數的t-value會愈大。
6 M1 z+ |) F+ A. m8 s
. P; C9 @1 y+ ]/ [) N但是愈多的樣本也會造成power越大(1- beta)，衍生另外一個問題：亦即雖然係數顯著，但是effect size事實上是很細微的。 這裡的問題在於，這麼小的細微差異對實務有實際的含意嗎？
$ k+ V/ M% u( T* L$ f- g理論上，當樣本無限大時，power會趨近於1，所有小差異都會是顯著。
$ l( ?; B. w- g! f( _$ q+ ^  t! f& }3 z

5 ]9 ~' V  w, ~2 g; S; |* o0 U3 X# z: u4 Y
作者: Kenneth    时间: 2010-10-20 21:11
是的。Chienhsin 谈的问题是 statistical significance 与 practical significance 的关系。这正正说明了很多人（包括reviewers）追求统计上的显著（statistical significance）是因为他们不太懂统计的原理。
作者: Gaolp    时间: 2010-10-23 03:38
回复 12楼 chienhsin 的帖子
9 F! \/ r. G# {- Z0 o( o$ ~* f6 z# m3 M& o- ]: i& S7 i' c
! [/ Q! H  l5 s$ Z
    是的，我看到过几千人的样本，变量间的相关系数很小，但是显著性很高***
作者: Kenneth    时间: 2010-10-23 23:54
如果 effect size 是 0.01 ，但是显著性是 p<.01，哪如何理解呢？
. V; u# Y# l; P" L8 q- E（1）没有practical significance，不用考虑；) N2 L6 e% V+ R9 t
（2）理论还是正确，因为 effect size 不是 0；# C: z! D3 Y6 {# L' U0 W8 ?
（3）估计会有误差，反正是显著就好了。
6 d3 W& l0 f  Y" C: z; T你会选择哪一个呢？（还是还有其他理解？）
作者: Sherry_Tsai    时间: 2010-10-26 16:45
回复 15楼 Kenneth 的帖子8 a; |; h9 e& m1 ~6 }
, e' C1 ~7 Z/ }0 P- j0 w! }
我个人的思考是对应于kenny的猜测1。
. S' x: s# f  k- r' b   
作者: chienhsin    时间: 2010-10-26 20:11
回复 15楼 Kenneth 的帖子% c: J, J2 h( q& O' d- e

5 P- u0 C8 Q: j; `$ j" t$ ^. L% |6 T* z
    我建議多給信賴區間這個資訊，讓讀者自己選擇怎麼使用我們估計出來的係數。
5 r3 Q& G6 a! f5 @( r以迴歸係數為例，顯著性檢定只提供某係數是不是=0(有沒有解釋能力)。
: W2 t/ _7 C3 B3 S4 f9 J) _信賴區間的資訊可能對實務經理人更為實用。
7 N9 N& {$ J; O. ]& L2 i8 e8 ]3 v4 F& n
另外，Kenny提到的1-3選項與樣本數也有關係，我會注意樣本數是不是不合理的「大」。) U' S7 S* {9 h

' T/ x$ f! R. ]  x如果樣本大到幾近普查，那也不需要抽樣檢定了。  _4 P1 F. l. l- ?

0 L: I+ E6 A, D6 q8 d 本帖最后由 chienhsin 于 2010-10-26 20:15 编辑 1 r, ^" L: p) ~8 |. z1 z/ P9 p3 s

" j! f* w7 Q0 U' q+ J
作者: Kenneth    时间: 2010-11-2 11:25
Sherry, 我这样的比喻吧。如果 effect size （在这里是相关系数）是.80，你随便抽一个样本，样本的相关>0的机会有多大？答案自然是极其大。类似的，如果我有一个相对小的样本，里面可以找到的x-y值，可以让我计算出一个等如零的相关的机会是多少？答案自然是很少。" `; W) Z8 y! g; w' K! Z
相对来说，如果 effect size 是.01，我是有很大机会在抽样中找到支持 Rxy=0 的x-y值的。所以，我就要一个很大的样本，才可以保证我有足够的“x-y对”（x-y values），让我可以把这个真正的 Rxy=.01 表现出来。



欢迎光临 中人网 (http://bbs.chinahrd.net/) Powered by Discuz! X2.5