求教讨论：有关问卷设计质量的问题

zhmseven

Hi all，
# o& M$ ]4 G9 J3 a1 v' F
    近期在学习SEM的有关内容，找到了这个圈子，拜读了不少帖子，受益良多。
    我也发现一个现象，大家更多的是关注SEM模型的操作问题，而较少讨论问卷设计质量的问题。在我学习SEM的过程中，有两个关于问卷设计质量的问题，感到比较困惑。在这里提出来，寻求帮助和讨论。
, E; l8 ^" X: H1 V
1.关于李克特量表的使用
    在社会科学研究中，广泛使用了李克特量表开展问卷调查。李克特量表是一种模糊表达的量表，可以认为是定性的，而不是定量的。比如说：从非常不喜欢到非常喜欢、从非常少到非常频繁或非常多、很不满意到非常满意等等。有的时候也使用了定量的问卷，比如说被访问对象的行为频次，可能按照0-2、3-10、10-20等等划分为几个等级，这类定量的问卷不存在模糊性。
    同一个被访问对象，对于一份问卷中不同的模糊表达，其评判感受的准则可能不一样。例如，被访问对象可能在稍微有一点点麻烦就感到非常不满意，而做了3-5件好事就觉得自己做了非常多的好事。同样，不同的被访问对象，对同一个问题项的评价也是不同的，有的认为几十的区间范围内就算很多，有的认为需要到几万才算很多。
   上面所说的现象，是我在最近的访谈中遇到的真实的事情。我请被访问对象就北京有多少家SP做一个估计评价，大多数人对SP的数量并没有准确的认识，在定性模糊表达的时候给予的反馈都是“很多”，在我进一步要求其对“很多”做一个数量级的估计的时候，有的人说怎么也得几十家，也有的人说得有上万家。可见他们对定性的问卷的评价标准极不相同。
. q9 e- i0 |' f6 `! x    个体对不同问卷题项的评价标准的差异，以及不同个体对相同问卷题项评价标准的差异，在SEM分析中带来一个问题，这个问题我感觉比较严重。SEM自身基于协方差做分析，也可以说是基于个体对问题项的感受的分布来开展分析的。这里，我的看法，隐含了一个基本假设是，各个个体对同一问题项的评价标准是一致的。比如说，大家都认为SP的数量到了2000家以上以后才能称之为很多，而几十家SP应该是很少。如果个体对同样的问题项的评价标准不一致，就产生了所谓的“评分者信度”的问题，问卷题项的分布或者说协方差相应发生了变化，SEM输出的路径系数的有效性必然受到影响。而在一般的问卷调查中，恰恰都没有考虑“评分者信度”问题，现有的效度和信度分析是无法考察“评分者信度”的。
8 K( x- D8 @; K3 z6 Q" W; i    为了说的更明白一些，我举一个例子。假设有两个被调查对象，甲和乙。我需要考察被调查对象对商场的服务的满意度和其消费行为之间的关系。采用李克特量表做定性的模糊问卷：甲对服务的要求比较高，稍有不合意之处就很不满意，其一周到商场购物的次数在2-3次，但甲认为其2-3次的购物次数已经很高了，他一周内很少到其他的同一商场2-3次；乙到服务的要求比较低，其一周到商场6-7次，但他认为6-7次的购物次数并不是很高。于是，甲对问卷的回答是“很不满意”和“频繁”，乙对问卷的回答是“满意”和“不是很频繁”。很明显，根据这个问卷调查结果作出的判断，会对研究者产生误导。
: y) I+ u, }9 C* x- Z$ d( q    这个例子有点极端，有的朋友会说可以把问卷中行为次数题项修改为对实际次数的度量。这里我不想去讨论这个问题，毕竟很多问卷有的时候是难以采用定量的方式的，而且采用定量问卷需要被访问对象仔细统计其实际行为，会导致其抵触心理。这个例子只是举例说明这个问题，想请熟悉的朋友指导一下，或者推荐一些在这方面分析讨论的文献。
. H% o7 F, }* i% j9 e# Z) s    最终希望搞清楚的问题是：
    a.这里的“评分者信度”问题，有没有合适的方法尽量克服？如果有，代价多大？
5 F2 f! @' R$ k- u# m! A    b.评分者信度，对于路径系数到底有多大的影响？
8 o5 G1 X) r4 ?" Y2 ~
9 M* X- l7 I4 w/ J. c0 g" |3 |2.关于效度的讨论
8 a( u! J$ X$ y8 Q    信度和效度，往往作为问卷质量评价的标准。但对于效度，我存在一个疑惑，那就是对问卷结果的效度评价，到底是以全部问题项来开展分析，还是以某一个或几个潜变量的问题项来开展分析。
7 ~4 ^' O$ n( C% _! B8 b3 @/ P0 _; N    在大多数介绍问卷调查的书中，都是以一个或几个潜变量的问题项来开展分析的，这些潜变量的问题项都是为了说明一个相同的潜变量的。简言之，对多个潜变量的情形，多个潜变量往往是一级潜变量，本身作为同一个二级潜变量的结果来看待。比如，影响消费者购买行为的属性，可能有商品的有用性、娱乐性、社会身份地位或者个性情感的展示等等。如果我们从理论上建构，划分出这4个方面，并且问卷设计也是围绕这四个方面，那么在做效度分析的时候，如果分析得到的4个因子和理论上划分的4个维度是吻合的，就认为问卷结果是有效度的。
+ q9 e" H3 X# Z# y7 N! r7 G: e    但是，在很多文献中，其问卷的效度分析是以全部的问卷题项为基础的，而这些问卷题项所表达的潜变量之间又可能有很强的因果关系，产生效度分析的结果和路径系数分析的结果相违背的问题。举个例子，假设用户消费者感受到的有用性和购买的量之间有很强的因果关系，假设标准化的路径系数达到0.8-0.9，但有用性和购买的量明显不存在共同的二级潜变量。如果将有用性和购买的量两个潜变量的观测项放到一起来做效度分析，我想由于其因果的相关性过强，效度估计的结果应该不会很好。但很多文献给出来的则恰恰相反，在做效度分析的时候，全部观测变量可以由两个因子来表示，其中一个因子代表有用性，另一个因子代表购买的量。有用性因子对有用性的观测项的贡献很大，对购买的量的观测项贡献很小；同样，购买的量因子对购买的量的观测项的贡献很大，对有用性的观测项的贡献很小。因而，文献认为，问卷结果的效度很强。我的看法，这表明两个潜变量的相关性很小。而在最后的路径分析结果中，有用性潜变量对于购买的量潜变量的路径系数非常大，也就是两个潜变量的相关性很大。
    这让我很是困惑，这些分析结果是否符合逻辑，抑或者是我的理解错误？
+ L/ a- x; Z! O' i9 E* f
两个问题，请大家指点迷津，或者能够引出其他的一些问题来，谢谢！
; l/ [2 a1 B) z) R: z2 m

Kenneth

回复 23楼 nickychen 的帖子
2 T7 H* P4 X' r, ^! i# s我并没有说“不可以用”单数的量表。只要你有信心，central tendency 的问题不严重就可以了。我也常常用5 点的量表的。

   

nickychen

回复 18楼 Kenneth 的帖子
+ a' m0 p$ y1 c# ]$ k1 }  E

" @/ _$ q0 _0 @, o    Kenneth，上回那个6点量表在应用中要是遇见有人对该问题表示不清楚，是不是只能空着了？如果换成李克特5点量表，这种情况是不是就能选择“中立”这个选项呢？

nickychen

回复 18楼 Kenneth 的帖子


6 \  ]2 P  X4 O+ _2 x# q( e, }. @% i    恩  晚上去到处上找找~

zhmseven

嗯，谢谢，这个问题基本理解了。

Kenneth

回复 19楼 zhmseven 的帖子
zhmseven,
我还想请教一个问题：如果说一个构念的测量，之前并没有其他的人做过这个构念的量表，那该怎么评价它的收敛效度和区分效度呢？
. p5 q3 {/ N; B7 H5 P! S' h7 r不要这么客气，没什么请教可言的。
我的理解是没有现存的测量，区分效度当然还可以说。因为讲的是“不同”。但是严格来讲是没有收敛效度可言的。不过你真的要讲的话，可能找一些概念上“很接近”的構念吧。

: d* v0 w( v% h1 V% v
, f! y) @) F. W- s, W! N8 Y   

zhmseven

Kenneth，
谢谢，我想我基本理解了你的意思。
$ n+ E; P$ ?) d# ?6 J& Z& t3 Z5 C& l1 A关于因子分析法的使用，有人确实称之为结构效度，我不太认同这个概念。有人称为收敛效度和区分效度，我又觉得有点疑惑。不过经过这么多天来来回回的对话，我搞懂了这个概念的意思，非常感谢！
  p9 d6 Z; ^. o" ]1 l5 s; {3 h& W2 O# L我还想请教一个问题：如果说一个构念的测量，之前并没有其他的人做过这个构念的量表，那该怎么评价它的收敛效度和区分效度呢？

Kenneth

回复 17楼 nickychen 的帖子
+ R& V; A: o! A0 F4 G, m这应该是樊景立教授（Larry Farh）在台湾所做的一篇文章。内容是中国人回答负面的词是不等于正面词的相反的。太久了，忘记了。你试试找看。

5 t( s* N( Z* U   

nickychen

Kenneth 你好  记得上次在浙大听讲座时你说在中国最好使用六点量表（而不是传统的李克特五点或七点量表）。请问下你是在哪篇文章或哪本书里看到这个观点的？

Kenneth

回复 15楼 zhmseven 的帖子
zhmseven,
你讲的越来越接近我的理解了。
以我所知，收敛效度和区分效度是在MTMM这个方法发展出来的概念。我们如何知道一个新的测量工具是不是有效呢？用它是否与「“现存”的这个构念的其他测量」和「“现存”的类似的构念的测量」来定。前者要大，叫聚敛，后者要小，叫区分。这就是决定这个“新的测量工具”的效度的方法。这里假设了用来确定聚敛和区分的两个测量工具的效度都已经被确定了。这样，逻辑上才合理。
4 b5 l- \) C& }  C* _0 h" A! l0 }% @你在因子分析中试图叫它做聚敛和区分效度，有两个问题。第一、聚敛和区分效度是针对构念与构念的测量（整个量表）来说，而你现在却说项目与项目之间的相关（不是量表与量表之间）决定了效度。不过这倒不是最大的问题。更重要的是第二、我们可以说一个“既有的”量表有效度（因为已经发展了很久，做了很多研究等等），但是我们却不可以说一个“新的项目”有效度。正如我所，你所知道的，只是x1与x2相关而已。
你最后的argument看似有理，但还是有问题的。第一、content validity 不是这个意思。内容效度不是说“我觉得”（就算你就是专家）这个项目在测什么，这个东西有人叫它做 face validity （虽然我也不太喜欢这个词，因为你觉得有表面效度，我不一定觉得）。内容效度讲的是构念的 content coverage的问题，就是测量是否概括了整个构念的范围。如果说我作为一个专家「觉得」“我是一头猫、一头狗”是在测满意度，同时，因子分析的结果也符合，这就叫聚敛和区分效度的话，那么聚敛和区分效度就是「觉得+因子分析」的结果了。如果另外一个人不「觉得」那怎么办？还有效度吗？
# H& K& q1 U0 P其实，我知道有人把你讲的因子分析结果叫做structural validity（结构效度）。这个我还可以极为勉强的接受，虽然我还是不喜欢。极为勉强的接受的原因，是起码他们没有曲解了聚敛和区分效度的意思。还是不喜欢的原因，是因为当中有validity这个字。因为它说到底，还不是测量学里面讲的效度（除非你极为笼统的来说，那还可以很勉强的说是效度的最基本的验证标准，连这个都通不过，根本不可以叫有效度）。
  z4 b& d( l9 N) z2 H
   
* B6 W2 ^* y  R) x2 b