请教Rwg和ICC计算的问题

appleguo

  L" N4 L: m/ V5 R; a& y+ r4 |2 zKenny好。我现在在学习计算Rwg和ICC。我看了LeBreton et al. (2008)的Answer to 20 questions 那篇文章，上面有教用spss syntax来计算ICC等。根据他们appendix里面的数据结构，我进行了计算，但有两点很困惑：
3 x; j: \4 P2 C( a' X$ B（1）用spss计算ICC和rwg都需要将原始数据按照他们的方法restructure吗，我听好几个人说他们都不会去restructure data，但也没和我说应该怎么做。
（2）按照LeBreton他们的syntax做的时候，我发现在计算ICC时，凡是有missing data的group都是被listwise掉了。我现在data的情况是，不同的组有3-17人不等，所以如果我在计算ICC时，保留最多17个人/组，那计算ICC的valid group就只有2组，而如果保留7个，那就会有50多个valid组。而这样算出来的ICC差异很大。所以想请教下Kenny，正确的计算ICC的步骤和标准应该是怎样。谢谢您啦！

Kenneth

1. 对不起，最近 “超” 忙，没有时间去看你所谓的 restructure，请问是什么意思？如何去restructure呢？
. ^: a7 i$ t% Q* N; k* Z0 E2. 我怀疑你是误解了listwise deletion的意思。我们讲的 listwise deletion， 是当一个数据点中有一些变量没有回答，就整个数据点删除。不是要把所有的组的人数都定为一个数值的意思。所以，就算做 listwise deletion，也可以有些组3个人，有些组17个人的。

appleguo

Hi Kenny,
restructure是指把原始的数据（每一行是一个member的数据，"target"相同的member属于同一组）（如下图1），转换成下图2中的数据（每一行代表是一个组，item1.1指这一组中成员1对item 1的评分，item1.n就是这一组中成员n对item1 的评分，以此类推，item2.n就是n成员对item2的打分）。
  W$ W* K# ]/ u1 G
  G% ~2 U: x  h! w这是Lebreton（2008）给出的计算Rwg和ICC的Syntax：
5 O0 \% ?. E/ R* W/ u0 V( w7 P计算Rwg：
. J5 X. X& n! p1 kCOMPUTE obs_var1 = var(item1.1,item1.2,item1.3,item1.4,item1.5).
* U: Z7 M% B# I( T2 yEXECUTE.
COMPUTE rwg1_un = 1-(obs_var1/2).
7 [% {  B3 b5 E! v0 U8 N
计算ICC：
RELIABILITY
/VARIABLES = Item1.1 Item1.2 Item1.3 Item1.4 Item1.5
0 P! W4 a$ K: \7 p/SCALE(ALPHA) = ALL/MODEL = ALPHA
) k% {+ O/ P3 l/ICC = MODEL(ONEWAY) CIN = 95 TESTVAL = 0.
EXECUTE
" P1 l# t* E3 R6 P
我之前听Kenny讲课的时候，知道您给出过一个计算Rwg的Syntax，不需要去像这样restructure数据的。所以读这篇文章的时候才会对这个restructure有点疑问，想请教Kenny你是怎么利用不restructure的数据计算ICC的。

( ~$ l, ?$ B$ C- _: i图1
& r2 i) E3 h0 ^3 i7 r7 u0 \0 @, C
1 y4 T) \$ l9 r8 l5 l# Z" h
6 `, g0 c' }- H1 v8 ^3 N% i
% I! T: ]# ~& ?图2
5 H$ {, O) N1 _

appleguo

Kenneth 发表于 2011-10-21 23:08
1. 对不起，最近 “超” 忙，没有时间去看你所谓的 restructure，请问是什么意思？如何去restructure呢？
2 ...

7 Q0 M/ i; X" w2 L0 R; OKenny好，上一条回复是有关Lebreton等（2008)的数据restructure的内容。
$ a7 b# `2 m- h- ?4 j2 r; H% }按照这样的restructure，一组就是一行，所以一旦一组出现了缺失值（即组员数目较少），整个组的数据就被listwise了，这是我运用这篇文章这个syntax的疑惑，请您指点。

Kenneth

appleguo 发表于 2011-10-23 02:47
Kenny好，上一条回复是有关Lebreton等（2008)的数据restructure的内容。
+ Q0 D) G5 {' g按照这样的restructure，一组就 ...

appleguo,
+ L- V; ^, Y3 l( F0 j如果计算RWg，每一组都要计算一次。是「组内的人的方差」与一个「假设的“乱填”的方差」的比较。删掉一个数据不会影响的。
  w, I: M" e# a5 B  t如果是ICC，是所有组的组内方差与组间方差之比，删去一点数据，自然不会影响。
所以，在两个情形下，listwise deletion 都不会有你讲的问题的。

( K: |9 N9 @7 q! U* j. L1 A我希望澄清一下，listwise deletion 不是说要有“所有的数据才可以分析”。它的意思是凡是一份问卷里有一道题没有回答，这份问卷就要作废，但是同组的其他问卷还是可以用的。

appleguo

Kenneth 发表于 2011-10-23 15:36
8 R' _/ z- h6 v0 pappleguo,
如果计算RWg，每一组都要计算一次。是「组内的人的方差」与一个「假设的“乱填”的方差」的比 ...

Hi Kenny,
+ q! }0 Q7 A6 p( r2 w谢谢您的解答。
我明白Rwg是每组一个，所以上述的restructure对于计算Rwg是没有影响的。
但我可能没表达清楚的是ICC的计算，按LeBreton等（2008）给出的数据来说，原始数据中第1、2组分别有5个人，而第3、4组中分别只有4个人（见上图1）。这样按他们的syntax来restructure之后，每一行数据包含了一个组的所有成员的回答了，于是第3和4组在“第5号成员回答”的地方就有了缺失值（见图2缺失值的地方）。
这样，计算ICC的时候，第3和4组因为有这些缺失值，所以在计算时就被delete掉了，结果里面valid的只有第1和2组的数据。
. m" [1 J0 [/ c如果不restructure，这种问题是不会有的，因为每一行是一份问卷。但restructure之后，每一行是一个组的所有问卷回答。
+ h7 K- H! i- F/ h  C希望这次能说得更清楚一点，谢谢您了~

Kenneth

我觉得你是把三个东西混起来了。
9 {& L  i; O, Z  U; y% q+ N2 ^（1）有几个组
6 L  C* C  |# }' i9 |- \（2）每组有几个人回答
（3）每组内回答的人回答了几道题
* b# M/ ?+ u: f如果第一组里有A,B,C,D,E 5 个人回答。A,B,C,D 全答了，只有E漏了一道题。根据 listwide deletion的原则，E 的数据就要删掉。但是第一组里还有 A,B,C,D 4 个人啊。除非这一组内每一个人都漏了一道题，不然的话，这一组还会存在的。

appleguo

Kenneth 发表于 2011-10-25 12:37
- ]4 I6 ?& S; N1 W6 R我觉得你是把三个东西混起来了。
（1）有几个组
（2）每组有几个人回答

如果是按照原始数据（图1），确实是这样的。
4 ~3 t4 w) n0 K, j8 u; d但是，我现在是按照LeBreton（2008）建议那样restructure了，数据就变得不是一人一行，而是一组一行了。
最清楚的例子就是，LeBreton的原始数据当中（上图1），第三、四组的所有成员都回答了所有的题目，但在restructure之后（见图2），第三、四组的item1.5和item2.5都成为缺失值。
因为item1.5和item2.5代表的是某组第5位成为对于item1和2的回答，而第三、四组都只有4位成员。
& @. f" _; {. p
; A7 U' C5 ?$ ^* IKenny您计算ICC的时候，是按照LeBreton（2008）这个步骤来的吗？如果不是，能请教您计算ICC的具体方法吗？

Kenneth

appleguo 发表于 2011-10-26 09:49
, P" b9 j2 b4 i/ x- z- y如果是按照原始数据（图1），确实是这样的。
, }1 o1 \8 R. _7 L" o2 }但是，我现在是按照LeBreton（2008）建议那样restructure了 ...

- [0 D" O) Y1 O0 V9 G% h. UICC 其实就是一个 ANOVA （方差分析）。第一、我没有听过计算ICC要 listwise deletion 的。所以我的做法很简单。如果一个变量有5道题，我首先为每一个应答者拿这5道题的平均，所以、每一个应答者就有一个分数。第二、我们就拿这个分数做 方差分析，继续用猜出来的 MSB 和 MSW 计算 ICC。

appleguo

谢谢Kenny，你说的这种做法更简单多了。我明白了，辛苦您了。