Educational measurement和psychological measurement

jkliang

Dear All
* u7 S  h! }3 {       最近接觸到教育領域有關能力的量測方法─試題反應理論(Item Response Theory)，其有別於傳統測量理論，是新一代的心理測量模式，主要用於學生或應試者的能力評量(如GRE)，其結果宣稱可建立一把心理量測的尺(如量長度的尺)。
2 G' @$ g4 x1 H7 U) S       我的疑問為，開始有研究將這個方法應用到reflective measurement model，用以分析利用李克特量表所得的data，這個在教育領域用以得到學生能力分數的方法，和在管理領域中要去猜到潛在構念score所常使用的方法(如SEM)，這兩者之間是可以互相交互應用的嗎？也就是說，這兩種方法在猜同一個東西(latent construct)嗎？想請教Kenny與大家的意見，謝謝！
* m! f  ?1 j- |% `+ ^( ^; B5 o

Kenneth

我没有留意这方面的研究。有人把两者拉上关系吗？

找天堂

回复 1楼 jkliang 的帖子
- k4 h2 o+ g! m2 V: ~

    能不能再具体的讲讲这个新方法是什么，或者提供一些资料给大家先看看的？

mostwanted

回复 2楼 Kenneth 的帖子
5 V: O6 l5 b2 _2 \* L. R1 D

    这篇in press的ORM算吗？
3 @& o. G( O$ j/ z# O/ `" G/ y7 s
Using Mixed-Model Item Response Theory to Analyze Organizational Survey Responses: An Illustration Using the Job Descriptive Index
) T# k- ^: ^! j% Z+ U

jkliang

小弟的研究室學長們以使用此方法論發表多篇期刊，但多數發表在運輸管理領域，若大家有興趣可以在期刊相關資料庫中搜尋作者Hsin-Lin Chang或Chang HL，即可找到相關文章。mostwanted所提應該也是這系列的研究，我會再去研讀。

    這個研究方法和傳統測量理論不一樣的地方在於，將試題與應試者放在同一個量尺(logit)上進行討論。以敝研究室學長的文章內容為例，這篇文章主要目的在量測「老人搭乘公車的能力」，量表共有18題，都是5尺度。以IRT中單參數模式─Rasch model的結果呈現，稱為item-person map，在圖中左邊為應試者，右邊為題目，右上而下難度遞增。以試題而言，Item10最難，Item06最簡單，也就是說Item10─maintaining balance while standing when the bus is accelerating/decelerating對於應試者來說很困難，Item06-─purchasing the ticket on the bus最容易做到。左邊是應試者，每一個#代表一個sample，在Item10以上有36個sample，表示有36個人答對了Item10，也就是說Item10「相對」他們來說並不困難。以上簡略說明，希望大家能夠了解。(我好像有權限問題，無法上傳圖片或超連結，不知道該怎麼讓大家看到圖呢？大家可以"item-person map"及"Rasch"當關鍵字搜尋，大概可以推論我的描述)

, k# H8 m2 p0 V0 O5 J進一步說明我原本的問題，這是個量測「老人搭乘公車的能力」這個latent的量表，其目的想了解每個試題和受測者之間相對的難度，當然這個方法也提供了一個latent的score，我覺得對於Educational Measurement是很make sense的，但是在管理領域呢？這個方法著重在item和person的相對分析而不是construct之間的連結，對於管理研究在追求construct之間的關連性以建立理論這個目的而言，似乎方向並不正確；例如，當這個量表換為LMX的量測時，需要把LMX量表下的每個題目提出討論嗎？我想SEM中的measurement model應該可以做的很不錯了！這是個問題嗎？或者僅僅只是方法論的不同階段應用而已。不過，研究室學長常常以IRT與SEM相提並論，我想我和他們持不同意見，或是僅是研究目的不同，是我杞人憂天了！

mostwanted

回复 5楼 jkliang 的帖子
4 e4 q% Z5 B  H9 K7 o* t& v! A+ I

    谢谢jkliang的分享。。

chienhsin

回复 5楼 jkliang 的帖子
2 |" W" \7 Z. q

    補充我的瞭解。
5 ]  J3 D; b# o
Item response theory一般會搭配CAT (computer-adaptive testing)來使用，會使「猜」分數的過程更有效率。
% j+ s# w, e6 W3 W& u! M7 h% @' B
3 a- f, M: c- C# d& \& i此外，Item response theory最後會「猜出」一個測量分數，拿這個分數到SEM當成indicator來使用，我個人認為是可以的。這只是測量的工具不同，我們可以身體感覺猜今天溫度，可以拿溫度計當參考，不管如何，拿這些數字當成SEM的indicator有不妥的地方嗎？
/ @/ x5 t8 v+ K( O7 F# e
0 I! n0 p/ N3 K1 i' v. J

( V3 M+ R( j& @

- N' W/ }9 _+ r

jkliang

回复8樓 chienhsin 的帖子
% f& L8 R7 L2 b$ G- l9 H" ?# g
1 C+ W. n. R; Q; i) xDear chienhsin
        將IRT所猜出來的分數取代SEM的raw score，基本上我也認同這個做法是可行的，敝研究室也是採用這個方式(如果必要的話)。只是我認為，IRT用以批判古典測量理論(CTT)的論點，並無展現出這個方法論優於CTT的具體結果，因為我們永遠不知道True Score是多少，IRT宣稱其方法較CTT「猜」的更準，沒有標準答案，如何談論「準」或「不準」呢？但我想這也是目前研究方法上的限制，我們還是只能去驗證兩變數間的關係，無法得到確切的代數關係(如物理學中的PV=nRT)，若以此來看，我想CTT應該表現的很不錯囉！
       但不能否認的是，IRT能將item-person進行對比，或許能讓我們能夠看到在data後面所蘊含的訊息。
       另外，23/24在中興大學，王熾森老師的workshop您會出席嗎？
. m5 W" Z5 x+ i$ ]4 D   

/ E9 i% e& J4 @9 u. K

chienhsin

回复 8楼 jkliang 的帖子
1 i/ j: n4 i: j& V
4 u% h. \2 G9 p9 W/ W2 u1 z
1 m3 c, U0 Z/ M0 _    我無法出席23-24的workshop。
) y6 O! U4 I7 O( u+ x' t1 H
7 \) H* J! }8 i: V不過我在苗栗的學校服務，你有路過苗栗時，可以順道來聊聊。
$ r$ b, ?; j2 {+ T
3 J1 H; w. {5 x4 F- W
$ a2 ^: {9 E8 [* `' ?

jkliang

改日與您約時間前往拜訪！