是不是co-variance大的时候measurement无效？

wfldragon

印象中记得Kenny提到两套指标时，co-variance大的时候measurement相对无效。
是不是这样？怎么理解？能否解释下？多谢！

Kenneth

wfldragon，希望我没有讲过这样的话吧。
协方差 是两个构念的关系大小；信度、效度是测量构念的工具的特征。两者为什么有关系呢？
/ p" D* m2 d6 Y* r什么叫做 “相对无效” 呢？ 你可能要多讲一下为什么这是你的一个疑问？

wfldragon

多谢Kenny百忙中的回复！
) d" V( T7 D& G' l2 p9 k: E那我直接问您我的两点疑问吧：
4 ^* }" m- A' l（1）虽然效度用来衡量item与construct之间的关系，而信度用来衡量item在测量中的准确程度，但是，由于无论真值还是construct都是未知的，那么如何在实际操作中区分信度与效度？在数学表达上应该都是相关性的测量，那么协方差和信度之间的区别很大吗？
8 P3 D/ k* K0 c（2）进一步的问题是，如果考虑极端情况，凭什么说两个construct之间的关系不是一个construct的两个item之间的关系？比如以下情形（A、B为construct，xi、yi是item，Q为效度，E为信度）：
A=X1+X2+Oa+Ea
B=Y1+Y2+Y3+Ob+Eb
我们的目标是分析A和B的关系，但是实际中往往要转化成X与Y的关系，那么如果X1与Y1高度相关的话凭什么判断它们之间的这种关系是A与B的关系，而不是同一个construct（比如是C）里面的两个item之间的关系。简言之，我们凭什么对两个未知的construct之间的区别那么肯定？
! m" K% f0 v+ h" J/ ]5 [这是否意味着我们可能不应该期待X与Y之间高度相关，否则它们可能是同一个construct的measurement？但实际上可能存在高度相关却又不同construct的例子，如对加速度的测量和对力的测量是高度相关的，但是这是两个construct。如何解决这种情况？
9 p' D6 q$ W7 m6 O9 z9 A可能理解有偏，您别嫌我麻烦。

jkliang

wfldragon，我試著說說我的看法給您參考，也請Kenny與大家一起指教。
(1)        首先，我同意您的看法─眞値和construct都是未知。其實構念應該都是未知的，且不知道是不是「真實」，是研究者所「建構」的，而量化研究者為了方便讓其他人看懂自己的研究在描述什麼現象(由構念所組成)，於是用了「測量」這個過程，用數字來說明「構念」，進一步探討和其他「構念」間的關係，並且相信這樣的結果「接近真實」。而為了讓大家能夠有較一致的評斷，測量理論中使用「信度」與「效度」來描述構念的測量結果是否可以信賴。「信度」是指單一構念與其對應的指標而言，如果單一構念下的指標「內部一致性」很高(以reflective model而言)，那麼我們可以宣稱這個測量具有「信度」，和其他構念沒有關係。「效度」則比較複雜，其本身就是一個構念，而在測量中為了接近「效度」這個真實，研究者有很多的方式描述效度，例如專家效度、構念效度、區別效度與收斂效度(MTMM)、外部效度等等，其中不只牽涉到構念和其指標的關係，也包含不同構念間的關係(這部分的確會用到兩構念間的covariance)，也許您可以去找一本比較詳細介紹測量理論的書籍，應該就可以更為清楚。我的看法是，測量理論是量化研究者為了了解構念所使用的方法，但是它並不是唯一的方法(不過的確是主流)，最近興起的質化研究，就不會用這種方式來描述構念。您可以想想，構念本身的有眞値嗎？有需要探討眞値嗎？甚至會擴充到這個世界有「真實」嗎？這就會牽涉到研究者的科學哲學觀了！
(2)        A=X1+X2+Oa+Ea，這個關係式我是第一次看到，的確和古典測量理論的表示方式有所不同，所以我不太理解這是什麼意思。不過您的問題我倒認為這應該不是方法的問題，而是理論的問題；如果您的理論假設A和B之間有高相關，得到高相關不是好事情嗎？您會說，可是呈現出來的相關很高，我怎麼知道A B是不同構念呢？這時候的關鍵點在於您對於A、B構念的定義是什麼？如果從定義可以看的出來，A、B就是兩個構念(這也是理論問題，因為構念的定義也由理論出發)，那您應該就不需要擔心這個問題了吧？我認為做研究時數字是魔鬼，只看數字會產生迷思，會引導研究者走向陷阱，研究者應該點亮火炬趕走魔鬼─火炬就是理論。

Kenneth

: c, q. q$ a1 A1 n) y. O* H

wfldragon 发表于 2011-10-17 14:07
2 b" c) X& v9 j, a: k! P( X多谢Kenny百忙中的回复！
" B/ h/ _. ^4 h: z- a, k+ D& X: O/ K那我直接问您我的两点疑问吧：
" ]6 b* m: p- E, N（1）虽然效度用来衡量item与construct之间的关系 ...

Wfldragon，我的回应在下面：
0 n$ A* {8 `' w, L& ?( _  g7 _（1）虽然效度用来衡量item与construct之间的关系，而信度用来衡量item在测量中的准确程度，但是，由于无论真值还是construct 都是未知的，那么如何在实际操作中区分信度与效度？在数学表达上应该都是相关性的测量，那么协方差和信度之间的区别很大吗？

信度（reliability）是随机测量误差；效度（validity）是固定的测量偏差。一支坏了的温度计可以对沸水测出的温度每一次都是摄氏104度，效度很低，但是信度等于1。协方差（我猜你是讲相关系数）是效度（不是信度）的一种方法而已。 Content validity 不是用相关的。Discriminant validity 区分效度 和 convergent validity 聚敛效度是特别的相关，是跟已知的测量的相关。

% ^9 i1 b; X8 A0 G- s（2）进一步的问题是，如果考虑极端情况，凭什么说两个construct之间的关系不是一个construct的两个item之间的关系？比如以下情形（A、B为construct，xi、yi是item，Q为效度，E为信度）：
A=X1+X2+Oa+Ea
( D( @# H' S7 o0 r& M5 k% |) U) sB=Y1+Y2+Y3+Ob+Eb
我们的目标是分析A和B的关系，但是实际中往往要转化成X与Y的关系，那么如果X1与Y1高度相关的话凭什么判断它们之间的这种关系是A与B的关系，而不 是同一个construct（比如是C）里面的两个item之间的关系。简言之，我们凭什么对两个未知的construct之间的区别那么肯定？

凡是用第三个構念（或是它的测量）来决定一个测量的有效性的（比如是 criterion validity），都要有强而明显的理论作为根据的。如果（从理论的角度）根本不清楚B是什么，又没有好的测量B的工具（比如是Y），你怎么会用X（你说是测量構念A的工具）跟Y相关呢？我们讲这一套测量的东西，都有一个假设，就是文献已经有一些作为我们参考的测量工具。那它们是如何来的呢？我相信是很多年的、各方面的研究都支持这些测量的工具的有效性。如果一个测量是有问题的，慢慢我们从研究的数据中就会发现问题，比如应该相关的不相关，跟其他構念的测量相关太大等。
1 O: w) ~* B* m注：你的写法是错的。只有X=f(A)，概念上没有A=f(X)的（自然数学上是可以）。因为X是看得见的，A是看不见的。所以永远是 X = A + 偏差(invalidity) + 误差(unreliability)。一个看得见的X由三个看不见的部分组成。
& y! U4 H- N: J, e
2 H# J2 V! e8 g- ]% M* F这是否意味着我们可能不应该期待X与Y之间高度相关，否则它们可能是同一个construct的measurement？但实际上可能存在高度相关却又不 同construct的例子，如对加速度的测量和对力的测量是高度相关的，但是这是两个construct。如何解决这种情况？

1 ?, J6 h: p. P, V我们很少从一个研究来「肯定」一个测量工具的有效性（上面讲了）。通常是刚刚相反，我们会从一个研究来「怀疑」一个测量工具的有效性。如果你说X与Y分别是测量A与B，但是X与Y的相关是0.9，我会「怀疑」其中一个（通常是后来发展的、证据没有这么多的一个）有问题。那是不是就一定已经判了死刑呢？自然不是！作为一个研究者，如果你有本事可以提出证据来，我会接受的。什么证据呢？比如，A与B是不用的構念，理论上肯定有一些A的前因或后果是与B完全不同的。比如A影响C，但是B不会。那你就可以用X与Y跟那些構念测量来相关，我会发现r(A,B) 很高，r(A,C)明显大于0， r(B,C)接近或等于0。看见这个与理论符合的观察，我就开始考虑A与B虽然相关很大，但是可能是在测两个構念。当然，一个研究算不了什么，多看几次类似的结果（尤其是不同的C），那我就信服了。不过，我还是要补一句。现实归现实。除了是测量同一个構念的两个测量外，在社会科学中「绝少」看见有不同的構念的相关到0.8的。
# M  K4 A7 E) ^" Y

wfldragon

非常感谢Kenny和jkliang详细而专业的解答！看来测量既是从理论出发的，也是不断趋近完善并证实理论的，而不仅仅是一个数学上的公式。