中人网

标题: 请教如何计算statistical power? [打印本页]

作者: Sherry_Tsai    时间: 2010-10-15 21:57
标题: 请教如何计算statistical power?
kenny好,大家好。
9 ]: Y8 k( P- H6 V6 B( G
2 k# G' L  P3 R4 r) q$ {$ d最近看论文,提到统计的第二类错误(beta),与第一类错误(alpha)相对应。
2 I5 l+ k+ z( |3 O. e其中statistical power=1-beta
- q2 \' I6 [4 b9 a. ~! H% T6 k3 e6 z3 r0 a1 B! Z/ [  M% p
很多学者的论文中都提到了statistical power与样本数N,alpha水平,以及effect size相关。但是我不知道如何具体的计算statistical power。# B, _8 C7 {/ g. |" M6 b
- x/ B" g9 H5 g2 l0 N/ |- B
另外,cohen(1988)的书里对t检验,F检验,chi-square 等,提出在三种不同的effect size水平下的statistical power的计算公式、如果计算SEM的statistical power就是对应于chi-square吗?
# |, U) ~4 e8 N9 |# H$ R- o! k- y& p, r% a. R& A$ |: a
谢谢 * D. m% \! x% Z# }

作者: Gaolp    时间: 2010-10-15 23:05
我觉得是R square,大家的意见呢?
作者: mostwanted    时间: 2010-10-15 23:18
chi-square吧,SEM就是用chi-square来检验FIT的好不好的,Regression和ANOVA是R方吧。
作者: Gaolp    时间: 2010-10-16 07:00
回复 3楼 mostwanted 的帖子3 n2 `4 w$ X9 H  f) l( ~& o1 n
$ n/ n6 A6 K4 i5 H& h8 c) I

+ h6 H6 S. o$ f. S' k    我觉得fit 和statistical power不是一个问题??
作者: mostwanted    时间: 2010-10-16 12:11
回复 4楼 Gaolp 的帖子
5 Q& \. ^/ U# g1 s, A3 @, F0 a
, i! _* C6 A. v; v) o6 n, Q3 ]
) u) k; X& e% Z% v, t- a# W    哈哈,可能我表达的问题,统计功效就是总体中效应值存在,在样本中能把它detect出来的能力,SEM不就是通过X方变化显著与否来拒绝虚无假设的嘛。。
作者: Kenneth    时间: 2010-10-16 13:17
回复 1楼 Sherry_Tsai 的帖子
* k9 n" ?) p" \1 c$ \
4 w( w/ X1 ^: r- PSherry, 我猜你的问题大概要再明确一点。Statistical power (统计功效)是对一个统计测验而言的。3 {. h8 d8 b, B- t( f5 K
* A. R) w; Q5 w. N  V
一般的统计测验都是 Ho:某统计量=0。 比如回归系数的测验就是 Ho:β=0。这个统计测验的「统计功效」的意思是当β≠0时,这个测验拒绝虚无假设(null hypothesis)的能力。 所以讲「统计功效」,一定要讲是哪一个虚无假设,并它对应的统计测验。
( S8 l( G5 z1 R; I1 `/ O. s3 Y- ^- v7 w+ O3 y
SEM不是一个虚无假设或统计测验,它是一个分析数据的方法。打个比喻,你的问题就好像在问如何计算因子分析的统计功效一样。一个数据分析的方法内就会有很多不同的统计量,每一个的统计功效都不同。比如,回归分析内就有F-distribution 的统计量和t-distribution的统计量。
作者: jkliang    时间: 2010-10-19 11:12
可參考,結構方程模式的檢定力分析與樣本數決定,邱晧政(2008),量化研究學刊,第二卷,第一期。
作者: chienhsin    时间: 2010-10-19 12:43
我建議一個免費軟體G*Power,一般的統計方法的power用此軟體應該夠了。3 h2 H8 z9 m8 M" m7 F
% h& b9 F8 d' o2 s) ^7 f
奇怪!我不能貼上網址,請各位自己google   "G*Power"就能找到軟體網頁。
1 U' f( j  \/ }0 c5 V
) K' C8 V% h4 t0 A4 C
4 _0 R* S5 V5 ?% n, i9 O3 Y* X 本帖最后由 chienhsin 于 2010-10-19 12:45 编辑 ) E8 m8 T8 q- B- R- {
2 ^* d7 ~3 v, t/ a- S

作者: Gaolp    时间: 2010-10-19 17:58
回复 8楼 chienhsin 的帖子3 A, w  L* p" `1 F
请问是这个吗?) K- w5 A; l! o5 D. U9 v, [: w
+ a# o0 n; b( |
* |1 w6 `) H  H5 R

  N9 `0 h- g" F9 ~5 O2 q9 z    [attach]24993[/attach]7 V+ D  n% O* d$ G

作者: Sherry_Tsai    时间: 2010-10-20 11:35
        多谢kenny和大家的解答。
3 z0 a1 n5 V& }+ Q) B& `
# C' g1 k$ l2 H+ n. V2 A6 ~# Z        关于kenny所说的明确问题,确实,对于相关的概念,我是比较混乱的,所以这几天又查阅了些文献。找到了这样的一段话6 n* w0 Z% S/ f1 f* e4 a
        “Cohen (1992: 158) provided an example of a regression model with three predictors, a significance level of p = 0.05, and an 80 percent likelihood of identifying the relationship. The minimum sample size is 34 for a large effect, 76 for a moderate effect, and 547 for a small effect.”
0 j8 u0 n' c+ d9 K) }9 _       个人的理解这里的80 percent likelihood of identifying the relationship,应该就是意味着statistical power=0.8; 然后比较困惑的为什么随着effect size的减少,样本量越来越大(不知道我理解的是否对)。
" G% d+ J# W0 W, Y3 R5 p, r; Z2 r0 M) {8 S, [
        感谢chienhsin   和 Gaolp  对于软件的建议,只是我概念上还是糊涂的,不知道如何操作软件-_-. ' [+ L/ Z, D+ ~% _) }5 ~3 Y
  l; A5 ?. w4 }) e
        感谢jkliang 提供的文献,我试着看能在大陆下载到否。
6 b5 a: T1 g- F9 ~! Y2 U1 }+ R! L" `+ m
        再次致谢!3 R$ l% t3 i6 s) Q: C3 ^

- O: s8 J6 E0 z- J! z& R0 U5 H& @. n: P: o
* w0 O1 I, ~2 o7 n
本帖最后由 Sherry_Tsai 于 2010-10-20 11:36 编辑 ( G8 n2 Y3 n' @0 _2 g8 `

! V5 _3 K# l* y% D
作者: Kenneth    时间: 2010-10-20 12:10
回复 10楼 Sherry_Tsai 的帖子& Y; v$ O/ N1 G7 q) p
, P9 q& v# E( M$ E% O
Sherry, 这当然是啊!Effect size 越小,你会找到它的机会就越低,需要一个较大的样本才可以找到它了。「找到它」的意思就是发现一个显著的结果(也就是母体参数不等如零)。9 |2 [  @$ R# J8 f' K
    1 m$ ^6 U: F/ Z  ^% S2 ?
     0 F4 V4 j+ M! {/ p
在上图中,左边是你假设的分布,你的虚无假设是 β=0。如果这是真的(β=0),那你用bc 作为临界点,找到β>0的机会是黑色的部分。但是当真正的 β是黄色的分布是,你找到β>0的机会是红色的框框。所以β越大(也就是effect size 越大),黄色的分布就越往右边移,你发现样本的估计大于bc
" Y6 P: k" t5 L0 p的机会(红色的框框)就越大。因为power是决定β>0的机会」,所以effect size 越大,power 越大。
" E7 F9 N: B' \7 N& \0 e
8 c- O: _2 B% e; G* n& \
5 }) _1 G* e0 F* `0 a- cfile:///C:/Users/MNLAW_%7E1/AppData/Local/Temp/moz-screenshot.png
作者: chienhsin    时间: 2010-10-20 12:19
回复 10楼 Sherry_Tsai 的帖子. w1 v+ L% X% |* L! O( u

2 P$ t) f- }* H- O
! Q$ E  b. N( y* }, T! S6 X 在alpha value(type 1 error的機率)固定之下,effect size愈小,所需達到顯著的樣本數愈大。0 q) e& N" U: H' h* L
; w8 h+ p4 H, Q/ i. V0 c
Effect size可以想成H0 與 H1之間的差異,當要檢定的差異愈大(越容易看到差異),所需樣本愈小;要檢定的差異愈小,所需樣本愈大。越細微的差異,需要愈多的樣本才能達當顯著,這是因為樣本越大,標準誤會越小,估計出來的係數的t-value會愈大。
- f8 d9 @/ J, C/ u' W; R. V
1 i- n$ _  A. c& }" [但是愈多的樣本也會造成power越大(1- beta),衍生另外一個問題:亦即雖然係數顯著,但是effect size事實上是很細微的。 這裡的問題在於,這麼小的細微差異對實務有實際的含意嗎?- g# ]$ ^" w, c
理論上,當樣本無限大時,power會趨近於1,所有小差異都會是顯著。
  S9 G6 o) ~9 `: \" M, Z/ }! m0 O

" n7 V& L6 O, G  b" `! o) F9 i
6 x- N4 g* L- u8 q- E9 K
作者: Kenneth    时间: 2010-10-20 21:11
是的。Chienhsin 谈的问题是 statistical significance 与 practical significance 的关系。这正正说明了很多人(包括reviewers)追求统计上的显著(statistical significance)是因为他们不太懂统计的原理。
作者: Gaolp    时间: 2010-10-23 03:38
回复 12楼 chienhsin 的帖子; C/ s. G. X7 W. f

* f4 j# u' y3 e5 g6 W% o! Y- M3 e' Q( g6 m/ G9 N& p1 `
    是的,我看到过几千人的样本,变量间的相关系数很小,但是显著性很高***
作者: Kenneth    时间: 2010-10-23 23:54
如果 effect size 是 0.01 ,但是显著性是 p<.01,哪如何理解呢?6 K. L, a0 c" O2 F; A7 B/ ^* i: a! [
(1)没有practical significance,不用考虑;( a: }* T% V1 I7 @. F
(2)理论还是正确,因为 effect size 不是 0;
* V# {; \$ h3 w- F7 a- m(3)估计会有误差,反正是显著就好了。
! W! l, D+ s& ^5 g3 S6 o你会选择哪一个呢?(还是还有其他理解?)
作者: Sherry_Tsai    时间: 2010-10-26 16:45
回复 15楼 Kenneth 的帖子
* M0 `  {" s+ A9 F3 s3 Z* f
% C0 ]0 Z, p8 m# \, n6 F) x我个人的思考是对应于kenny的猜测1。
* U- j- g$ Q0 a' A: B   
作者: chienhsin    时间: 2010-10-26 20:11
回复 15楼 Kenneth 的帖子# P6 z/ _6 `$ P6 P

/ z' v0 j' p- E' m9 s% A# y5 F$ L" s9 r+ M
    我建議多給信賴區間這個資訊,讓讀者自己選擇怎麼使用我們估計出來的係數。
) K$ ^; ]5 M: ]1 t以迴歸係數為例,顯著性檢定只提供某係數是不是=0(有沒有解釋能力)。
3 O; i3 D3 Z' B4 U  S& a9 T) |信賴區間的資訊可能對實務經理人更為實用。; C5 X5 I) W: ]5 m

9 j: e! [  B+ ~& v6 U0 n6 ]% T另外,Kenny提到的1-3選項與樣本數也有關係,我會注意樣本數是不是不合理的「大」。! Q4 M" @3 ?, i/ N( A* x
/ S7 f* M4 Z7 N8 J
如果樣本大到幾近普查,那也不需要抽樣檢定了。
& v8 s( X! C* G" V! @* b$ N! |$ |% t, {$ D
本帖最后由 chienhsin 于 2010-10-26 20:15 编辑 + X( ]' l" d/ r, |' P$ e/ E
7 J; S8 q9 v: M0 Z0 \

作者: Kenneth    时间: 2010-11-2 11:25
Sherry, 我这样的比喻吧。如果 effect size (在这里是相关系数)是.80,你随便抽一个样本,样本的相关>0的机会有多大?答案自然是极其大。类似的,如果我有一个相对小的样本,里面可以找到的x-y值,可以让我计算出一个等如零的相关的机会是多少?答案自然是很少。
* `* R, R8 j0 u9 D2 T. G& Z+ S4 o相对来说,如果 effect size 是.01,我是有很大机会在抽样中找到支持 Rxy=0 的x-y值的。所以,我就要一个很大的样本,才可以保证我有足够的“x-y对”(x-y values),让我可以把这个真正的 Rxy=.01 表现出来。




欢迎光临 中人网 (http://bbs.chinahrd.net/) Powered by Discuz! X2.5