中人网

标题: 请教Rwg和ICC计算的问题 [打印本页]

作者: appleguo 时间: 2011-10-19 22:37
标题: 请教Rwg和ICC计算的问题
本帖最后由 appleguo 于 2011-10-20 04:04 编辑

Kenny好。我现在在学习计算Rwg和ICC。我看了LeBreton et al. (2008)的Answer to 20 questions 那篇文章，上面有教用spss syntax来计算ICC等。根据他们appendix里面的数据结构，我进行了计算，但有两点很困惑：
（1）用spss计算ICC和rwg都需要将原始数据按照他们的方法restructure吗，我听好几个人说他们都不会去restructure data，但也没和我说应该怎么做。
（2）按照LeBreton他们的syntax做的时候，我发现在计算ICC时，凡是有missing data的group都是被listwise掉了。我现在data的情况是，不同的组有3-17人不等，所以如果我在计算ICC时，保留最多17个人/组，那计算ICC的valid group就只有2组，而如果保留7个，那就会有50多个valid组。而这样算出来的ICC差异很大。所以想请教下Kenny，正确的计算ICC的步骤和标准应该是怎样。谢谢您啦！

作者: Kenneth 时间: 2011-10-21 23:08
1. 对不起，最近 “超” 忙，没有时间去看你所谓的 restructure，请问是什么意思？如何去restructure呢？
2. 我怀疑你是误解了listwise deletion的意思。我们讲的 listwise deletion，是当一个数据点中有一些变量没有回答，就整个数据点删除。不是要把所有的组的人数都定为一个数值的意思。所以，就算做 listwise deletion，也可以有些组3个人，有些组17个人的。

作者: appleguo 时间: 2011-10-23 02:44
Hi Kenny,
restructure是指把原始的数据（每一行是一个member的数据，"target"相同的member属于同一组）（如下图1），转换成下图2中的数据（每一行代表是一个组，item1.1指这一组中成员1对item 1的评分，item1.n就是这一组中成员n对item1 的评分，以此类推，item2.n就是n成员对item2的打分）。

这是Lebreton（2008）给出的计算Rwg和ICC的Syntax：
计算Rwg：
COMPUTE obs_var1 = var(item1.1,item1.2,item1.3,item1.4,item1.5).
EXECUTE.
COMPUTE rwg1_un = 1-(obs_var1/2).

计算ICC：
RELIABILITY
/VARIABLES = Item1.1 Item1.2 Item1.3 Item1.4 Item1.5
/SCALE(ALPHA) = ALL/MODEL = ALPHA
/ICC = MODEL(ONEWAY) CIN = 95 TESTVAL = 0.
EXECUTE

我之前听Kenny讲课的时候，知道您给出过一个计算Rwg的Syntax，不需要去像这样restructure数据的。所以读这篇文章的时候才会对这个restructure有点疑问，想请教Kenny你是怎么利用不restructure的数据计算ICC的。

图1

[attach]286150[/attach]

图2
[attach]286151[/attach]

作者: appleguo 时间: 2011-10-23 02:47

Kenneth 发表于 2011-10-21 23:08
, L7 }# d5 I# V1. 对不起，最近 “超” 忙，没有时间去看你所谓的 restructure，请问是什么意思？如何去restructure呢？
: C' `& w3 j1 x3 \: {' S2 ...

Kenny好，上一条回复是有关Lebreton等（2008)的数据restructure的内容。
按照这样的restructure，一组就是一行，所以一旦一组出现了缺失值（即组员数目较少），整个组的数据就被listwise了，这是我运用这篇文章这个syntax的疑惑，请您指点。

作者: Kenneth 时间: 2011-10-23 15:36

appleguo 发表于 2011-10-23 02:47
% J z/ G" J- Q3 W% E$ R6 ?Kenny好，上一条回复是有关Lebreton等（2008)的数据restructure的内容。
! L5 P( \+ W" i按照这样的restructure，一组就 ...

appleguo,
如果计算RWg，每一组都要计算一次。是「组内的人的方差」与一个「假设的“乱填”的方差」的比较。删掉一个数据不会影响的。
如果是ICC，是所有组的组内方差与组间方差之比，删去一点数据，自然不会影响。
所以，在两个情形下，listwise deletion 都不会有你讲的问题的。

我希望澄清一下，listwise deletion 不是说要有“所有的数据才可以分析”。它的意思是凡是一份问卷里有一道题没有回答，这份问卷就要作废，但是同组的其他问卷还是可以用的。

作者: appleguo 时间: 2011-10-25 03:56

Kenneth 发表于 2011-10-23 15:36 ( G5 J. B9 c& s: t
appleguo,1 V0 S% Q9 A. z8 ^7 U: _
如果计算RWg，每一组都要计算一次。是「组内的人的方差」与一个「假设的“乱填”的方差」的比 ...

Hi Kenny,
谢谢您的解答。
我明白Rwg是每组一个，所以上述的restructure对于计算Rwg是没有影响的。
但我可能没表达清楚的是ICC的计算，按LeBreton等（2008）给出的数据来说，原始数据中第1、2组分别有5个人，而第3、4组中分别只有4个人（见上图1）。这样按他们的syntax来restructure之后，每一行数据包含了一个组的所有成员的回答了，于是第3和4组在“第5号成员回答”的地方就有了缺失值（见图2缺失值的地方）。
这样，计算ICC的时候，第3和4组因为有这些缺失值，所以在计算时就被delete掉了，结果里面valid的只有第1和2组的数据。
如果不restructure，这种问题是不会有的，因为每一行是一份问卷。但restructure之后，每一行是一个组的所有问卷回答。
希望这次能说得更清楚一点，谢谢您了~

作者: Kenneth 时间: 2011-10-25 12:37
我觉得你是把三个东西混起来了。
（1）有几个组
（2）每组有几个人回答
（3）每组内回答的人回答了几道题
如果第一组里有A,B,C,D,E 5 个人回答。A,B,C,D 全答了，只有E漏了一道题。根据 listwide deletion的原则，E 的数据就要删掉。但是第一组里还有 A,B,C,D 4 个人啊。除非这一组内每一个人都漏了一道题，不然的话，这一组还会存在的。

作者: appleguo 时间: 2011-10-26 09:49

Kenneth 发表于 2011-10-25 12:37 + r1 y) H$ t$ H9 h
我觉得你是把三个东西混起来了。$ Y# ]; N& S( l* ~$ M. |* o- [
（1）有几个组$ T& S5 {: T2 d+ ?
（2）每组有几个人回答

如果是按照原始数据（图1），确实是这样的。
但是，我现在是按照LeBreton（2008）建议那样restructure了，数据就变得不是一人一行，而是一组一行了。
最清楚的例子就是，LeBreton的原始数据当中（上图1），第三、四组的所有成员都回答了所有的题目，但在restructure之后（见图2），第三、四组的item1.5和item2.5都成为缺失值。
因为item1.5和item2.5代表的是某组第5位成为对于item1和2的回答，而第三、四组都只有4位成员。

Kenny您计算ICC的时候，是按照LeBreton（2008）这个步骤来的吗？如果不是，能请教您计算ICC的具体方法吗？

作者: Kenneth 时间: 2011-10-26 15:37

appleguo 发表于 2011-10-26 09:49
- M" |6 l, {& m1 ]% t `如果是按照原始数据（图1），确实是这样的。
2 n: g/ f/ A2 A但是，我现在是按照LeBreton（2008）建议那样restructure了 ...

ICC 其实就是一个 ANOVA （方差分析）。第一、我没有听过计算ICC要 listwise deletion 的。所以我的做法很简单。如果一个变量有5道题，我首先为每一个应答者拿这5道题的平均，所以、每一个应答者就有一个分数。第二、我们就拿这个分数做方差分析，继续用猜出来的 MSB 和 MSW 计算 ICC。

作者: appleguo 时间: 2011-11-3 10:53
谢谢Kenny，你说的这种做法更简单多了。我明白了，辛苦您了。

作者: appleguo 时间: 2011-11-17 00:08

Kenneth 发表于 2011-10-26 15:37 ' U9 B1 r; a. [- _' a0 a, I
ICC 其实就是一个 ANOVA （方差分析）。第一、我没有听过计算ICC要 listwise deletion 的。所以我的做法 ...

hi，Kenny，
想补充问一下，ICC（1）=（MSB-MSW)/ (MSB+(k-1))MSW)
公式里面的k是指每组的评分者数。
如果每组的人数不同的话，k应该是取每组人数的平均吗？
谢谢您！

作者: Kenneth 时间: 2011-11-17 13:27
你可以用平均评分的人数，或是用以下的公式：

[attach]287115[/attach]

Bliese, P.D. & Halverson, R.R. (1998). Group size and measures of group-level properties: An examination of eta-squared and ICC values. Journal of Management, 24, 157-172.

作者: appleguo 时间: 2011-11-18 00:36

Kenneth 发表于 2011-11-17 13:27
) \- E: R; z0 @0 I你可以用平均评分的人数，或是用以下的公式：

太谢谢kenny了，每次问问题都能得到您特别快的解答。
最近也开始接触Bible，您这个板块的名字的确是您行为的真实写照。

欢迎光临中人网 (http://bbs.chinahrd.net/)