[系统转发] 组合信度(composite reliability)

（回复3楼Eleven）
Eleven，在Kenny看到您的问题之前，先提一点点粗糙的看法，不知道对您有没有用：

1、“为什么这类研究并不对测量的效度问题进行说明，似乎只要能在逻辑上将某种结构指标赋予一种意义，测量就是有效的。这种方法和survey这块差别较大，会不会不同领域存在的评价标准不一样？感觉同心理学衔接越紧密，在方法上就越为严格。” 

答复：我的理解是效度的概念应该是跨学科的，研究是抽象世界（理论）与具体世界（数据）的对话，都需要首先解决这两者之间的语言如何对应的问题，社会科学和自然科学都是如此。而效度正是用来衡量一个构念的操作化定义和概念定义之间的契合程度的。存在评价标准不一样可能和这个学科的研究对象有关，也可能和一个领域发展的阶段有关，一个新兴的领域，人们对于这方面的要求就不太严格，而心理学使用“测量”的历史较为悠久了，所以相对要求也较高了。我不太了解“受欢迎程度”这个构念，不过假如一个构念的定义已经包括了操作化的成分（如把“管理资历”定义为在“在管理岗位工作的总年限”，把“受欢迎程度”定义为个人关系的总数量），这时就不需要提供效度了。但是，如果在构念的定义中没有操作化的成分，是在测量工具中才操作化的，那就需要提供内容效度、结构效度、效标关联效度等证据了。发展这个构念及其测量方法的人没有提供是做得不够的，因为后面的研究者就不知道能否放心使用他们的工具了。

2、“有没有遇到过将survey方法和仿真方法结合起来的情况，例如有一个宏观能源经济模型，这个模型中需要用到一些行为参数（如居民能源消费倾向），我再想能否直接通过survey把消费倾向调查出来，然后代入到这个经济模型中。这样两种不同的方法一起运用会不会存在什么效度问题。我很少遇到这种情况，kenny有没有什么经验或者理论上的思考。”

答复：这个还是等Kenny答复吧，我经验太少，不足以参考 ~~ 我没遇到过，仅凭空猜测一下，如果你真的用这样的方法，倒是一个不错的创意呢。如果要考虑效度，至少两大类效度都需要考虑——测量的效度和研究的效度。测量的效度就是你用的这个survey是否真的测出了消费倾向。研究的效度就是这个模型是否有效，包括模型原来所建立的这个自变量与因变量之间的关系是真的吗（内在效度），以及假如这个模型是过去推导出来的，那么它在你现在研究的这个情景下仍然成立吗（外在效度）。所有东东都有效才可能得到一个有效的结果。经济学里的一些实证研究就是在做类似的事情吧。

Kenneth

1. Eleven 问：为什么社会网络分析研究并不对测量的效度问题进行说明，似乎只要能在逻辑上将某种结构指标 赋予一种意义，测量就是有效的。
回应：请看我最新的日志「研究中的测量模型 2」。我解释了一种估计信度的方法，就是用两个平行的复性测量。在你提出的问题里，你要量的构念是「一个节点同其它节点的关系数量」。因为你只量了一次，真分数与误差根本分不开，在没有办法估计信度的情形底下，唯有假设测量是完美，没有误差的了。只要你可以用其他方法再测量一次这个构念（比如，一个月以后再两一次，或者找另外一个人来估计节点间的关系），就可以估计信度了。我看这不是接不接近心理学的问题。
2. Eleven 问：有没有遇到过将survey方法和仿真方法结合起来的情况？
回应：过去的仿真方法（simulation）都是用“理论的”参数数值用计算机来作很多次不同组合所产生的结果。最近的仿真研究，有一些是首先做了一个问卷（或是现存数据）的分析，然后再把参数扩张到原来数据没有的参数范围的。只是这一类型的研究很少被主流杂志接受。我猜在Organizational Science 或是Management Science 等杂志可能可以找到这类研究。     Kenny

Kenneth

再补充几点：
1.假如一个研究中用了CFA，就代表研究者取了后一种假设，那么如果我们再用Cronbach α不是代表换了一个假设吗？这样是没有问题的吗？
回应：在芸芸信度的估计当中，Cronbachα是最容易计算的（因为有公式，统计软件自动的计算），这也是为什么α系数这么普遍的原因。我个人把α系数看成是信度的「下界」。如果连α系数大于.8左右都做不到的话，其他的信度估计就几乎不用算了。基于上面这个理由，再加上所有的信度指标都是“估计”而已，我个人的意见是不存在“双假设”的问题的。
2.可能是我在测量学里面受的训练的问题吧，对我来讲「效度」（validity）是一个测量学的专有名词。当然，在方法论上也会讲“transfer validity”，“internal validity”，“external validity”等。但是对我来说，第一、这些词都是整个的名词，不是效度（validity）的其中一种。第二、这些都是「效度」这个英文字的字面意思的用法。就好像「脓包」这个词，两个字一定会连着用，而它不是「包」的一种。
在测量学里面（这个日志主要是讲测量学），「效度」是相对「信度」的一个专有名词。它代表了「看得见的测量工具」与「看不见的构念」的关系。信度是测量时的“随机误差”；效度是测量时的“系统误差”。所以Eleven问「这样两种不同的方法一起运用会不会存在什么效度问题」，我不知道怎样回答。第一、这肯定不是测量上的问题。第二、如果你的意思是「一起运用会不会影响我们解决研究问题的“有效性”」的话，这个问题就太广泛了，要看要研究的是什么问题，很难一概而论。
3.最后，我的感觉是在讨论中我们好像把「古典测验模型」看成是守旧的，而「结构方程建模」用的「陶性等性测量模型」看成是比较先进的东西。我想再强调一点，“古典”不代表它不好。时髦是复杂了一点，可是不代表是更好。不然的话，我明天就会提出一个如下的新的「罗氏测验模型」了：
   x = a0 + a1 T + a2 T² + a3 T³ + ε
这里最大的问题是我们根本就不知道「观察数据」（observed score）与「真实数据」（true score）的关系。所有的测量模型都是“猜测”而已。我的训练是管理的研究室科学的。在没有证据以前，“猜测”是很难有高低之分的。相反，我的经验是「时髦的“新”发展」往往不是比过去的更好。对我来讲，这是管理研究的一个重要格言。有机会与大家再深入分享这一点。    Kenny

首先非常感谢Cecilia，Jane，kenny详尽，细致地回复。写这些东西是要花费很多时间和精力的，而我会因为您们的这种付出得到很多知识，感激之情难以言表！

我很久没有处理数据了，有些东西有点遗忘和混乱，而且即使我现在对信度、效度等这些细节的东西经常应用。 我相信我对这些概念的理解也还没有达到足够深、足够本质的地步。因为在讨论的过程中，我明显感觉到有“一片”您们好像非常熟悉的东西，而我却模模糊糊，所以我相信这次讨论我会从中受益很多。而且这次信息量很大，很多方面我需要先消化消化。

当前较多的能源政策分析是基于已有经济统计数据做出来的，但是实际上从来就没有独立运行（不受社会行为因素影响）的经济系统（包括能源系统），对一些行为问题的恰当处理能够极大改善政策分析的准确度。可是如何把survey的行为数据和统计的数据放到一个模型里面，并提供政策预见性。这是我大致的想法，也是一个初步的想法，具体的一些问题我现在也还不太清晰，可能需要一段时间我才能里出一个明确的思路。

总之，大的思路就是用行为研究的方法和计量经济学的方法，整合起来提高对能源政策的分析准确度。发文章的事情现在不是主要目的，我担心的是这两种方法能不能放到一起（应该不是测量的问题，）？好像是两个领域的事情，不会存在什么原则上个隔阂吧？比如在两种方法的基本假设上存在问题（至于什么问题我也清楚，因为就我还看不到这些根本性的东西）？

Jane，kenny回复社会网路的问题，我的一些基本疑惑已经清楚了，而且感觉对测量问题有了进一步的认识，可能还有些细节的地方有问题，不过我要再想一想。

还有kenny您的书估计到什么时候能够出来，我已经在期待了：），不过我建议您力争做个“经典”之作，如果您足够有雄心，我相信以您的功力，这部力作应该可以至少在国内方法论领域垄断20年（这是我保守的估计哦）。Cecilia，Jane,我已经把您们当做我的朋友了，网友，：）

总之，再次感谢大家：）

我才要谢谢您，如果不是您提问，我尝试回答，也不会有后续Jane更多的厘清与Kenny 详细的两个「研究中的测量模型」日志的产生。感谢Kenny与可爱的同行者，让我在此园地每每「抛砖」后，真能「引玉」。这过程，我们不仅享受到学习的乐趣，也感受到彼此的扶持，真幸福！^O^~~

我觉得自己很不适合做研究，不仅概念化能力不强，统计更弱，而且顿悟的感受，ah-ha的快乐，很少享受过！但我就是喜欢这种知识慢慢、、慢慢、、、增加的快乐，虽然我的水平只在「抛砖」的层次。

『Cecilia，Jane,我已经把您们当做我的朋友了，网友。』呵、呵、呵、想象一个画面：一群人每个人胸前挂着自己名字的牌牌，在2009 IACMR 的会场，亲自跟Kenny致谢（嘘!他会很尴尬的，因他不觉得需要谢），也与网友们相见欢，又是好一个幸福~ 

有关您的研究设计，我提供一点想法，但未必正确。请耐心等其它人的响应。我认为这研究，就设计而言应较没问题，只是是属于跨领域（计量经济学与组织行为学）的整合。当您是站在功能论下探究，我似乎看不到什么 “原则”上的隔阂（请问，这里的「原则」是指什么呢？）。我较关注的是「提高对能源政策的分析准确度」这个研究问题是否需应用这两个方法才能回答。这也正是您叮咛过我的：『首先需要弄清楚自己的研究问题是什么，自己的理论是怎样的理论，基于此选择合适的方法』。相信您一定想过也想通了！               Cecilia