中人网
标题: Educational measurement和psychological measurement [打印本页]
作者: jkliang 时间: 2010-10-13 10:51
标题: Educational measurement和psychological measurement
Dear All8 k0 b0 p( E3 ^7 i8 A
最近接觸到教育領域有關能力的量測方法─試題反應理論(Item Response Theory)，其有別於傳統測量理論，是新一代的心理測量模式，主要用於學生或應試者的能力評量(如GRE)，其結果宣稱可建立一把心理量測的尺(如量長度的尺)。. L$ x' M- ]7 B$ F
我的疑問為，開始有研究將這個方法應用到reflective measurement model，用以分析利用李克特量表所得的data，這個在教育領域用以得到學生能力分數的方法，和在管理領域中要去猜到潛在構念score所常使用的方法(如SEM)，這兩者之間是可以互相交互應用的嗎？也就是說，這兩種方法在猜同一個東西(latent construct)嗎？想請教Kenny與大家的意見，謝謝！
1 X( B8 T, F$ t) p6 \
作者: Kenneth 时间: 2010-10-15 17:27
我没有留意这方面的研究。有人把两者拉上关系吗？
作者: 找天堂 时间: 2010-10-15 17:52
回复 1楼 jkliang 的帖子/ e1 ~* } c" ~7 w6 \( @1 q( j5 e7 R. [
0 Y0 \# \ ^8 U2 V. c* \1 c) n
1 \; b3 T# a% V' h5 I3 u/ P
能不能再具体的讲讲这个新方法是什么，或者提供一些资料给大家先看看的？
作者: mostwanted 时间: 2010-10-15 19:04
回复 2楼 Kenneth 的帖子7 ^4 z& Q- j) p/ E! `3 i
( J: s1 q+ _% t
+ }9 N# i, V# m 这篇in press的ORM算吗？
0 W, W! H0 U5 }- ^& ^) o5 E% d% }# g, o/ W8 I8 M. M4 W8 m: ?' Y
Using Mixed-Model Item Response Theory to Analyze Organizational Survey Responses: An Illustration Using the Job Descriptive Index 1 Q) z P5 H8 B0 u$ v. p1 y4 k
作者: jkliang 时间: 2010-10-17 13:26
小弟的研究室學長們以使用此方法論發表多篇期刊，但多數發表在運輸管理領域，若大家有興趣可以在期刊相關資料庫中搜尋作者Hsin-Lin Chang或Chang HL，即可找到相關文章。mostwanted所提應該也是這系列的研究，我會再去研讀。
這個研究方法和傳統測量理論不一樣的地方在於，將試題與應試者放在同一個量尺(logit)上進行討論。以敝研究室學長的文章內容為例，這篇文章主要目的在量測「老人搭乘公車的能力」，量表共有18題，都是5尺度。以IRT中單參數模式─Rasch model的結果呈現，稱為item-person map，在圖中左邊為應試者，右邊為題目，右上而下難度遞增。以試題而言，Item10最難，Item06最簡單，也就是說Item10─maintaining balance while standing when the bus is accelerating/decelerating對於應試者來說很困難，Item06-─purchasing the ticket on the bus最容易做到。左邊是應試者，每一個#代表一個sample，在Item10以上有36個sample，表示有36個人答對了Item10，也就是說Item10「相對」他們來說並不困難。以上簡略說明，希望大家能夠了解。(我好像有權限問題，無法上傳圖片或超連結，不知道該怎麼讓大家看到圖呢？大家可以"item-person map"及"Rasch"當關鍵字搜尋，大概可以推論我的描述)
; I1 z4 R( y0 x+ z, ?* D進一步說明我原本的問題，這是個量測「老人搭乘公車的能力」這個latent的量表，其目的想了解每個試題和受測者之間相對的難度，當然這個方法也提供了一個latent的score，我覺得對於Educational Measurement是很make sense的，但是在管理領域呢？這個方法著重在item和person的相對分析而不是construct之間的連結，對於管理研究在追求construct之間的關連性以建立理論這個目的而言，似乎方向並不正確；例如，當這個量表換為LMX的量測時，需要把LMX量表下的每個題目提出討論嗎？我想SEM中的measurement model應該可以做的很不錯了！這是個問題嗎？或者僅僅只是方法論的不同階段應用而已。不過，研究室學長常常以IRT與SEM相提並論，我想我和他們持不同意見，或是僅是研究目的不同，是我杞人憂天了！
作者: mostwanted 时间: 2010-10-17 14:47
回复 5楼 jkliang 的帖子
2 m; E% ^9 D h+ e! u8 L; m2 Z/ q; E$ k$ }7 }& r
" } D, x' O3 W; }( w# x4 H 谢谢jkliang的分享。。
作者: chienhsin 时间: 2010-10-18 17:23
回复 5楼 jkliang 的帖子
6 ~ Q/ M# q8 o9 b2 I6 j8 ^% t/ D0 J5 z# v' w. |5 D3 J" `0 N
7 r# L" q2 {/ W5 J3 B8 @+ J) H
補充我的瞭解。
) Z* G# q; s8 S* i) O7 D, o' N
1 o: Y- @4 P$ @: h: W( ZItem response theory一般會搭配CAT (computer-adaptive testing)來使用，會使「猜」分數的過程更有效率。
5 _' X7 v$ n( {; k" C" }5 o( G; I j9 P
此外，Item response theory最後會「猜出」一個測量分數，拿這個分數到SEM當成indicator來使用，我個人認為是可以的。這只是測量的工具不同，我們可以身體感覺猜今天溫度，可以拿溫度計當參考，不管如何，拿這些數字當成SEM的indicator有不妥的地方嗎？
5 q% q+ d5 e2 L$ @6 T8 \# }; L0 A+ ` |9 h
, H0 W7 K3 D: S4 t" @8 K
/ _3 ~9 f+ m+ J4 X
本帖最后由 chienhsin 于 2010-10-18 17:26 编辑
; \8 `9 x0 R0 x) Y* c: m! v- b5 R2 e0 y8 X, s( [+ U# U" G
作者: jkliang 时间: 2010-10-18 21:50
回复8樓 chienhsin 的帖子
) u$ q4 a; B7 f) ^9 o/ M9 e; Y" F7 T" _* ~- ~: ~
Dear chienhsin
( `% a' V( u" S1 l: W! P O 將IRT所猜出來的分數取代SEM的raw score，基本上我也認同這個做法是可行的，敝研究室也是採用這個方式(如果必要的話)。只是我認為，IRT用以批判古典測量理論(CTT)的論點，並無展現出這個方法論優於CTT的具體結果，因為我們永遠不知道True Score是多少，IRT宣稱其方法較CTT「猜」的更準，沒有標準答案，如何談論「準」或「不準」呢？但我想這也是目前研究方法上的限制，我們還是只能去驗證兩變數間的關係，無法得到確切的代數關係(如物理學中的PV=nRT)，若以此來看，我想CTT應該表現的很不錯囉！+ x8 I" p: T8 o1 B4 p# u
但不能否認的是，IRT能將item-person進行對比，或許能讓我們能夠看到在data後面所蘊含的訊息。
. B5 X# z, b$ `0 m 另外，23/24在中興大學，王熾森老師的workshop您會出席嗎？
% [) L! d c; V9 v/ v8 h ' u K1 @# x4 \- f% R
本帖最后由 jkliang 于 2010-10-18 21:53 编辑 2 h( Z t1 |. v$ B
* n/ D! z/ n8 s+ q
作者: chienhsin 时间: 2010-10-19 12:47
回复 8楼 jkliang 的帖子
* X( o4 C/ W8 @- o: q3 m4 i! Y+ C j
7 [' T5 W- \; E' W. m( j) l
我無法出席23-24的workshop。
& M/ ?, w1 h5 Z: h0 [( C [) I0 w
- Z: [ _) j, f" ]5 N# r& q不過我在苗栗的學校服務，你有路過苗栗時，可以順道來聊聊。
# Y( B/ b/ n* v$ i& j: J2 N6 q. X# y2 D C4 C& u$ B
% i& U. E6 J* L
作者: jkliang 时间: 2010-10-19 13:10
改日與您約時間前往拜訪！
| 欢迎光临 中人网 (http://bbs.chinahrd.net/) |
Powered by Discuz! X2.5 |