请教Rwg和ICC计算的问题

appleguo

" {* N4 o, J7 D# `# u  w% w$ q5 GKenny好。我现在在学习计算Rwg和ICC。我看了LeBreton et al. (2008)的Answer to 20 questions 那篇文章，上面有教用spss syntax来计算ICC等。根据他们appendix里面的数据结构，我进行了计算，但有两点很困惑：
（1）用spss计算ICC和rwg都需要将原始数据按照他们的方法restructure吗，我听好几个人说他们都不会去restructure data，但也没和我说应该怎么做。
（2）按照LeBreton他们的syntax做的时候，我发现在计算ICC时，凡是有missing data的group都是被listwise掉了。我现在data的情况是，不同的组有3-17人不等，所以如果我在计算ICC时，保留最多17个人/组，那计算ICC的valid group就只有2组，而如果保留7个，那就会有50多个valid组。而这样算出来的ICC差异很大。所以想请教下Kenny，正确的计算ICC的步骤和标准应该是怎样。谢谢您啦！

Kenneth

1. 对不起，最近 “超” 忙，没有时间去看你所谓的 restructure，请问是什么意思？如何去restructure呢？
1 w) j3 s: P9 y4 U2. 我怀疑你是误解了listwise deletion的意思。我们讲的 listwise deletion， 是当一个数据点中有一些变量没有回答，就整个数据点删除。不是要把所有的组的人数都定为一个数值的意思。所以，就算做 listwise deletion，也可以有些组3个人，有些组17个人的。

appleguo

Hi Kenny,
4 M& ~2 f+ N" \5 ?7 g) {restructure是指把原始的数据（每一行是一个member的数据，"target"相同的member属于同一组）（如下图1），转换成下图2中的数据（每一行代表是一个组，item1.1指这一组中成员1对item 1的评分，item1.n就是这一组中成员n对item1 的评分，以此类推，item2.n就是n成员对item2的打分）。
+ y4 X6 `7 F) o
6 _: P/ O+ f% j  i; Y2 O/ m2 c这是Lebreton（2008）给出的计算Rwg和ICC的Syntax：
计算Rwg：
COMPUTE obs_var1 = var(item1.1,item1.2,item1.3,item1.4,item1.5).
# M* v6 Q1 q+ [2 zEXECUTE.
COMPUTE rwg1_un = 1-(obs_var1/2).
2 @- J# R0 M; v5 I  z2 W$ _
/ U, F$ a+ U/ \" y# L. J计算ICC：
RELIABILITY
2 ~2 ^* p) ^/ |* h7 B4 m8 ~/VARIABLES = Item1.1 Item1.2 Item1.3 Item1.4 Item1.5
  r$ r/ J7 K' H! P0 w/SCALE(ALPHA) = ALL/MODEL = ALPHA
/ICC = MODEL(ONEWAY) CIN = 95 TESTVAL = 0.
EXECUTE

我之前听Kenny讲课的时候，知道您给出过一个计算Rwg的Syntax，不需要去像这样restructure数据的。所以读这篇文章的时候才会对这个restructure有点疑问，想请教Kenny你是怎么利用不restructure的数据计算ICC的。

- i, T0 O. h3 a图1
. L3 r6 B. _( P$ `7 Q


7 l' G  G  Q- E* \图2

appleguo

Kenneth 发表于 2011-10-21 23:08
! R0 N9 `8 [  ~, h5 }$ V( T3 Z- w1. 对不起，最近 “超” 忙，没有时间去看你所谓的 restructure，请问是什么意思？如何去restructure呢？
1 Y: z  e+ b! T8 `3 y3 F  g' K2 ...

# `* K8 E4 i' f$ W: F* {& XKenny好，上一条回复是有关Lebreton等（2008)的数据restructure的内容。
按照这样的restructure，一组就是一行，所以一旦一组出现了缺失值（即组员数目较少），整个组的数据就被listwise了，这是我运用这篇文章这个syntax的疑惑，请您指点。

Kenneth

appleguo 发表于 2011-10-23 02:47
Kenny好，上一条回复是有关Lebreton等（2008)的数据restructure的内容。
* j3 `) a1 _2 [0 W* `' q- ^按照这样的restructure，一组就 ...

: |( |2 T1 H( F2 q* |% \0 jappleguo,
如果计算RWg，每一组都要计算一次。是「组内的人的方差」与一个「假设的“乱填”的方差」的比较。删掉一个数据不会影响的。
+ ^. q8 v% V' B: @- h8 a4 K如果是ICC，是所有组的组内方差与组间方差之比，删去一点数据，自然不会影响。
所以，在两个情形下，listwise deletion 都不会有你讲的问题的。
* |1 G# M8 \9 ~4 a
# @7 @! Y6 D# l8 d. Y6 i我希望澄清一下，listwise deletion 不是说要有“所有的数据才可以分析”。它的意思是凡是一份问卷里有一道题没有回答，这份问卷就要作废，但是同组的其他问卷还是可以用的。

appleguo

Kenneth 发表于 2011-10-23 15:36
" y' S/ F: b2 {9 f7 R3 c4 H. u# Gappleguo,
如果计算RWg，每一组都要计算一次。是「组内的人的方差」与一个「假设的“乱填”的方差」的比 ...

+ q& z1 D* o6 a% J' aHi Kenny,
6 y  Z0 g) r& V( J谢谢您的解答。
! v6 [% [$ G9 v7 i我明白Rwg是每组一个，所以上述的restructure对于计算Rwg是没有影响的。
! r1 Q9 b" ~8 J* Y但我可能没表达清楚的是ICC的计算，按LeBreton等（2008）给出的数据来说，原始数据中第1、2组分别有5个人，而第3、4组中分别只有4个人（见上图1）。这样按他们的syntax来restructure之后，每一行数据包含了一个组的所有成员的回答了，于是第3和4组在“第5号成员回答”的地方就有了缺失值（见图2缺失值的地方）。
3 z8 m$ j+ Z  G2 j这样，计算ICC的时候，第3和4组因为有这些缺失值，所以在计算时就被delete掉了，结果里面valid的只有第1和2组的数据。
如果不restructure，这种问题是不会有的，因为每一行是一份问卷。但restructure之后，每一行是一个组的所有问卷回答。
4 b3 V0 y9 P0 ^! ]希望这次能说得更清楚一点，谢谢您了~
* _& l, E" ]* {7 g% n% W1 d

Kenneth

我觉得你是把三个东西混起来了。
（1）有几个组
/ l/ ^3 p  y( L（2）每组有几个人回答
（3）每组内回答的人回答了几道题
' u/ M9 {3 I) Z( g如果第一组里有A,B,C,D,E 5 个人回答。A,B,C,D 全答了，只有E漏了一道题。根据 listwide deletion的原则，E 的数据就要删掉。但是第一组里还有 A,B,C,D 4 个人啊。除非这一组内每一个人都漏了一道题，不然的话，这一组还会存在的。

appleguo

Kenneth 发表于 2011-10-25 12:37
我觉得你是把三个东西混起来了。
* D2 U6 V% z9 W  y6 o! r（1）有几个组
（2）每组有几个人回答

9 F3 k" A# _) [) H2 E/ q- v如果是按照原始数据（图1），确实是这样的。
# a% w2 P% h9 T, W" O; a但是，我现在是按照LeBreton（2008）建议那样restructure了，数据就变得不是一人一行，而是一组一行了。
1 c  X4 Y  P9 c4 r/ ~8 |) ^最清楚的例子就是，LeBreton的原始数据当中（上图1），第三、四组的所有成员都回答了所有的题目，但在restructure之后（见图2），第三、四组的item1.5和item2.5都成为缺失值。
- F& j' _$ w: X. f0 l4 R2 O8 f因为item1.5和item2.5代表的是某组第5位成为对于item1和2的回答，而第三、四组都只有4位成员。
& p% @3 b# B# P
1 F! F& K1 x9 V+ A. HKenny您计算ICC的时候，是按照LeBreton（2008）这个步骤来的吗？如果不是，能请教您计算ICC的具体方法吗？

Kenneth

appleguo 发表于 2011-10-26 09:49
0 f! a' B, x, N. ~- M如果是按照原始数据（图1），确实是这样的。
但是，我现在是按照LeBreton（2008）建议那样restructure了 ...

ICC 其实就是一个 ANOVA （方差分析）。第一、我没有听过计算ICC要 listwise deletion 的。所以我的做法很简单。如果一个变量有5道题，我首先为每一个应答者拿这5道题的平均，所以、每一个应答者就有一个分数。第二、我们就拿这个分数做 方差分析，继续用猜出来的 MSB 和 MSW 计算 ICC。

appleguo

谢谢Kenny，你说的这种做法更简单多了。我明白了，辛苦您了。