求教讨论：有关问卷设计质量的问题

Kenneth

回复 10楼 rwxld 的帖子
rwxld,
' \# y& m) l: {$ A/ I我不太同意的看法。
9 @8 u% h  I4 D9 Q" w0 @" W1. 第一个不是观点与角度的问题。我已经举了一个例子，这样的四道题，会有很清楚的因子分析结果的，x1和x2属于因子1，x3和x4属于因子2。这点我完全没有异议。但是问题是“因子命名”的问题。我是一头猫、我是一头狗，就算是同时载荷在一个因子上，不代表它们就是在量满意度的。单单从因子分析，不可以有任何的证据证明x1和x2在量满意度。请你好好的想一想什么叫validity。Validity are evidence that you are measuring what you purport to measure。我们有证据这两道题是在测量满意度吗？明显的没有。既然没有效度, 如何谈聚敛效度和区分效度呢？这根本就不是效度的证据。除非你把聚敛效度和区分效度定义为在不同因子的载荷的形态。但是这样做的话，就跟测量学一直讲的聚敛效度和区分效度不同了。请找一本好一点的方法书，看看我们如何定义聚敛效度和区分效度，你就知道这不是观点与角度的问题了。
; B' H2 V$ v) j* r% y# T2. 多用几点不会影响结果的。这一点我建议你再看看相关系数的定义。相关系数是“标准化”以后的协方差。多用几点时，协方差会增加了，但是方差也同时增加，结果相关是不变的。其实我们已经有量化的研究，证明多加几点，不会影响相关的（如果我没有记错，应该是黄炽森老师, C.S.Wong做的）。
2 j! S7 F- w# S/ z* r
   

rwxld

谢谢kenny，我完全同意你的第一个观点。理解这一点是我在明白了“效度”的概念的时候，因为因子分析不会告诉我们量表是不是在测量我想要测的东西，所以它不能为convergent validity和discriminant validity提供证据。

第二个观点是我这几天刚看到的scale development那本书里的观点，可能我理解有误。

" ?, T7 u, f7 H; y$ i' Q; ~昨天我看到你博客里关于相关系数等基本概念的解释，那些东西真是非常好。我觉得初学者经常会在一些问题上产生疑问，其实是没有真正理解一些基本概念。就像我们这里讨论的一些问题，如果真正理解了基本概念，这些问题可能很快就解决了。之所以互相说不清楚，很肯能因为大家的基本概念都不一致。其实，很多同学可能没认真看这些概念就开始用软件了。

非常可惜，博客里那些好的基本知识的图都没有了。好像上次我跟你说了以后，你已经跟中人网沟通过了，他们解决不了。不知道你的新书里会有这些吗？

再多说一点我的感觉：软件给我们提供了方便，使很多人觉得会用软件、看星星就行了，但同时也使很多同学忽略了基本的东西，所以误用软件的情况很多。
6 Y+ E4 R+ E5 G. H

zhmseven

在效度的分析方法上，我没有观点，或者更坦白地讲，我没有完全理解效度。所以我是向Kenneth求教的，只是我觉得Kenneth的回答有前后矛盾的地方。
2 T0 R2 p2 r; u! ?+ Y% `在6楼，Kenneth明确地回答，我所上传的论文那一段话是在讨论收敛效度和区分效度。Kenneth的原话是，““p.44 left column at the end” 那里讲的是convergent 与 discriminant validity的问题，我已经回应了。”。在我上传的论文中，那一段话的内容是用因子分析法考察量表的收敛效度和区分效度。所以，我以为Kenneth认同论文中采用因子分析法来考察收敛效度和区分效度的方法。
但是，在其他地方，Kenneth否定了采用因子分析法做收敛效度和区分效度的可行性。
1 t. i1 q" I0 ]4 {所以我感觉到比较迷惑。
0 h; g* y' ^  c% T+ A' h  c( q
+ o" ^! e1 {% [+ e2 Y0 M为了澄清问题，还要烦请Kenneth对论文中这么一段话做出明确的claim，以避免我错误地领会Kenneth的意思：
# o- m8 j/ o+ w  `) q& n* @1 c7 d, C, u“表3为旋转后的因子负荷矩阵，可以看出，交叉变量的因子负载没有超过0．5的，显示出良好的区分效度，并且各个项目在其相关联的变量上的因子负载值都大于0．5，具有良好的收敛效度。”（所上传的论文p.44 column 2, line 2 - line 5）
这一段话是不是错误地？
& J( {5 ]( j0 b+ E  @. z

hongyan911

zhmseven，我试着帮助澄清一下。Kenny的意思是，文献中p.44 left column at the end 讲的是convergent 与 discriminant validity的问题，但是事实上不能这样做，因为因子分析不可以做收敛效度和辨别效度（即区分效度）的。

zhmseven

hongyan，谢谢。
根据后来的回复，我猜Kenneth可能是这个意思。不过我不确定，因为国内太多的paper上都是这样做的，并且有些书也是这么处理的（杜智敏，抽样调查与SPSS应用，电子工业出版社，pp:730）。
, z4 s; X# x0 L, J2 h+ t: v* H0 v不过最让我困惑的是，Kenneth的PPT上是这样写的：
2 f) g4 Q! K( z# k( w* e3 wConvergent validity – two measures of the same construct should be highly correlated with each other. A new measure which is highly correlated with a known and valid measure of the same construct is said to have high convergent validity.
3 B1 d3 p9 I- ]" J! G! m. J- j. vDiscriminant validity – two measures of different constructs should not be highly correlated with each other. A new measure of a construct should not be highly correlated with a known and valid measure of another construct. Such a measure is said to have high discriminant validity.
7 \/ g. J5 M* Q8 D  ?, E& C这个和所上传的paper中采用因子分析法做收敛效度和区分效度的方法有什么不同呢？
我不知道是不是需要这样理解：如果我们能够确认一些测量从内容上是有些效度的，才可以使用因子分析法？例如，我们对构念A有两个问题项，构念B也有两个问题项。经过内容判定，问题项1是衡量构念A的，问题3是衡量构念B的。采用因子分析法发现，问题2和问题1之间高相关，和问题3、问题4之间低相关。问题4和问题3之间高相关，和问题1、问题2之间低相关。这个时候可以判定问卷有高的收敛效度和区分效度？
+ F' s. b+ U9 d8 H如果是这样，那是不是表示，在做收敛效度和区分效度之前，必须有一个标杆的测量指标，大家都同意这个测量指标确实是衡量假想的构念的。然后，以其他指标和标杆测量指标之间的相关性为标准，来判断收敛效度和区分效度。由于一般papers里面都声明已经通过了内容效度上的检测（专家评判），所以可以采用因子分析法判定收敛效度和区分效度？


% w2 Y  B# \' S% _

Kenneth

回复 15楼 zhmseven 的帖子
6 m' i' I- ?' ~+ t8 y9 d/ S  Ozhmseven,
你讲的越来越接近我的理解了。
5 `" i: X) p. V1 Y+ U1 @/ Y以我所知，收敛效度和区分效度是在MTMM这个方法发展出来的概念。我们如何知道一个新的测量工具是不是有效呢？用它是否与「“现存”的这个构念的其他测量」和「“现存”的类似的构念的测量」来定。前者要大，叫聚敛，后者要小，叫区分。这就是决定这个“新的测量工具”的效度的方法。这里假设了用来确定聚敛和区分的两个测量工具的效度都已经被确定了。这样，逻辑上才合理。
5 X" f8 n  O" s8 J' w; W. Y你在因子分析中试图叫它做聚敛和区分效度，有两个问题。第一、聚敛和区分效度是针对构念与构念的测量（整个量表）来说，而你现在却说项目与项目之间的相关（不是量表与量表之间）决定了效度。不过这倒不是最大的问题。更重要的是第二、我们可以说一个“既有的”量表有效度（因为已经发展了很久，做了很多研究等等），但是我们却不可以说一个“新的项目”有效度。正如我所，你所知道的，只是x1与x2相关而已。
你最后的argument看似有理，但还是有问题的。第一、content validity 不是这个意思。内容效度不是说“我觉得”（就算你就是专家）这个项目在测什么，这个东西有人叫它做 face validity （虽然我也不太喜欢这个词，因为你觉得有表面效度，我不一定觉得）。内容效度讲的是构念的 content coverage的问题，就是测量是否概括了整个构念的范围。如果说我作为一个专家「觉得」“我是一头猫、一头狗”是在测满意度，同时，因子分析的结果也符合，这就叫聚敛和区分效度的话，那么聚敛和区分效度就是「觉得+因子分析」的结果了。如果另外一个人不「觉得」那怎么办？还有效度吗？
6 @* K+ N7 j% ~8 o/ {- Q3 F' [其实，我知道有人把你讲的因子分析结果叫做structural validity（结构效度）。这个我还可以极为勉强的接受，虽然我还是不喜欢。极为勉强的接受的原因，是起码他们没有曲解了聚敛和区分效度的意思。还是不喜欢的原因，是因为当中有validity这个字。因为它说到底，还不是测量学里面讲的效度（除非你极为笼统的来说，那还可以很勉强的说是效度的最基本的验证标准，连这个都通不过，根本不可以叫有效度）。

( W$ v; c+ Q# s+ V, h   

8 o- w$ E3 y1 U* u& K. R- L. U

nickychen

Kenneth 你好  记得上次在浙大听讲座时你说在中国最好使用六点量表（而不是传统的李克特五点或七点量表）。请问下你是在哪篇文章或哪本书里看到这个观点的？

Kenneth

回复 17楼 nickychen 的帖子
这应该是樊景立教授（Larry Farh）在台湾所做的一篇文章。内容是中国人回答负面的词是不等于正面词的相反的。太久了，忘记了。你试试找看。
3 K: l( X# V; j. g/ O) H& r; U# R5 N
: k1 I5 j! r" s9 o" S8 Q+ Q   

zhmseven

Kenneth，
/ w+ c  O$ O+ m. ?$ j# K: V( i" A谢谢，我想我基本理解了你的意思。
2 V, J* l# w& @& o# ?关于因子分析法的使用，有人确实称之为结构效度，我不太认同这个概念。有人称为收敛效度和区分效度，我又觉得有点疑惑。不过经过这么多天来来回回的对话，我搞懂了这个概念的意思，非常感谢！
我还想请教一个问题：如果说一个构念的测量，之前并没有其他的人做过这个构念的量表，那该怎么评价它的收敛效度和区分效度呢？
5 c/ [' T8 F  f/ e) V* o& ^; ]( s$ s

Kenneth

回复 19楼 zhmseven 的帖子
zhmseven,
5 @$ _1 @/ ~& U8 Z4 b1 T( K我还想请教一个问题：如果说一个构念的测量，之前并没有其他的人做过这个构念的量表，那该怎么评价它的收敛效度和区分效度呢？
9 K9 r! h1 ^. o4 j6 t1 t; w不要这么客气，没什么请教可言的。
$ F, x  p0 B% c  U2 \2 x我的理解是没有现存的测量，区分效度当然还可以说。因为讲的是“不同”。但是严格来讲是没有收敛效度可言的。不过你真的要讲的话，可能找一些概念上“很接近”的構念吧。
. {& y- j0 k+ p3 @0 E! h