Educational measurement和psychological measurement

jkliang

Dear All
5 }* R* p# g5 }5 z       最近接觸到教育領域有關能力的量測方法─試題反應理論(Item Response Theory)，其有別於傳統測量理論，是新一代的心理測量模式，主要用於學生或應試者的能力評量(如GRE)，其結果宣稱可建立一把心理量測的尺(如量長度的尺)。
       我的疑問為，開始有研究將這個方法應用到reflective measurement model，用以分析利用李克特量表所得的data，這個在教育領域用以得到學生能力分數的方法，和在管理領域中要去猜到潛在構念score所常使用的方法(如SEM)，這兩者之間是可以互相交互應用的嗎？也就是說，這兩種方法在猜同一個東西(latent construct)嗎？想請教Kenny與大家的意見，謝謝！
) _4 ^% ~2 @' `  h. d5 g6 L* q

Kenneth

我没有留意这方面的研究。有人把两者拉上关系吗？

找天堂

回复 1楼 jkliang 的帖子

- a; z' i/ C% V4 p. o
    能不能再具体的讲讲这个新方法是什么，或者提供一些资料给大家先看看的？

mostwanted

回复 2楼 Kenneth 的帖子
5 f- Z7 B; R: u" ]6 r) I

    这篇in press的ORM算吗？

( y0 P( x& N7 wUsing Mixed-Model Item Response Theory to Analyze Organizational Survey Responses: An Illustration Using the Job Descriptive Index

jkliang

小弟的研究室學長們以使用此方法論發表多篇期刊，但多數發表在運輸管理領域，若大家有興趣可以在期刊相關資料庫中搜尋作者Hsin-Lin Chang或Chang HL，即可找到相關文章。mostwanted所提應該也是這系列的研究，我會再去研讀。

    這個研究方法和傳統測量理論不一樣的地方在於，將試題與應試者放在同一個量尺(logit)上進行討論。以敝研究室學長的文章內容為例，這篇文章主要目的在量測「老人搭乘公車的能力」，量表共有18題，都是5尺度。以IRT中單參數模式─Rasch model的結果呈現，稱為item-person map，在圖中左邊為應試者，右邊為題目，右上而下難度遞增。以試題而言，Item10最難，Item06最簡單，也就是說Item10─maintaining balance while standing when the bus is accelerating/decelerating對於應試者來說很困難，Item06-─purchasing the ticket on the bus最容易做到。左邊是應試者，每一個#代表一個sample，在Item10以上有36個sample，表示有36個人答對了Item10，也就是說Item10「相對」他們來說並不困難。以上簡略說明，希望大家能夠了解。(我好像有權限問題，無法上傳圖片或超連結，不知道該怎麼讓大家看到圖呢？大家可以"item-person map"及"Rasch"當關鍵字搜尋，大概可以推論我的描述)

進一步說明我原本的問題，這是個量測「老人搭乘公車的能力」這個latent的量表，其目的想了解每個試題和受測者之間相對的難度，當然這個方法也提供了一個latent的score，我覺得對於Educational Measurement是很make sense的，但是在管理領域呢？這個方法著重在item和person的相對分析而不是construct之間的連結，對於管理研究在追求construct之間的關連性以建立理論這個目的而言，似乎方向並不正確；例如，當這個量表換為LMX的量測時，需要把LMX量表下的每個題目提出討論嗎？我想SEM中的measurement model應該可以做的很不錯了！這是個問題嗎？或者僅僅只是方法論的不同階段應用而已。不過，研究室學長常常以IRT與SEM相提並論，我想我和他們持不同意見，或是僅是研究目的不同，是我杞人憂天了！

mostwanted

回复 5楼 jkliang 的帖子


3 y- ?! X% s6 M+ B( u2 Y& Z    谢谢jkliang的分享。。

chienhsin

回复 5楼 jkliang 的帖子
; ^3 X/ D7 H: O( z; V8 R9 K: t
- _3 u# [" J0 l
    補充我的瞭解。

Item response theory一般會搭配CAT (computer-adaptive testing)來使用，會使「猜」分數的過程更有效率。

此外，Item response theory最後會「猜出」一個測量分數，拿這個分數到SEM當成indicator來使用，我個人認為是可以的。這只是測量的工具不同，我們可以身體感覺猜今天溫度，可以拿溫度計當參考，不管如何，拿這些數字當成SEM的indicator有不妥的地方嗎？

7 \; i3 i$ [  O# k( c
" {8 G4 d5 O* e2 n) \  b

6 z: @6 E$ W8 ]( v! M5 p
& x" r, n- V9 x3 T+ P- t9 L

jkliang

回复8樓 chienhsin 的帖子

Dear chienhsin
: Q- U$ S* m1 P# i$ |        將IRT所猜出來的分數取代SEM的raw score，基本上我也認同這個做法是可行的，敝研究室也是採用這個方式(如果必要的話)。只是我認為，IRT用以批判古典測量理論(CTT)的論點，並無展現出這個方法論優於CTT的具體結果，因為我們永遠不知道True Score是多少，IRT宣稱其方法較CTT「猜」的更準，沒有標準答案，如何談論「準」或「不準」呢？但我想這也是目前研究方法上的限制，我們還是只能去驗證兩變數間的關係，無法得到確切的代數關係(如物理學中的PV=nRT)，若以此來看，我想CTT應該表現的很不錯囉！
1 ^: Z3 [* x0 L: Y6 Z       但不能否認的是，IRT能將item-person進行對比，或許能讓我們能夠看到在data後面所蘊含的訊息。
       另外，23/24在中興大學，王熾森老師的workshop您會出席嗎？
   

chienhsin

回复 8楼 jkliang 的帖子

# W; E7 P8 o1 D5 {) j/ J. s
! r# T4 ?7 e" F8 ~0 G- P: P    我無法出席23-24的workshop。

( v% A& `6 O# H3 L不過我在苗栗的學校服務，你有路過苗栗時，可以順道來聊聊。
4 x$ ^6 \8 K- d# U# P0 T4 z  w

. H5 a; \8 X; h

jkliang

改日與您約時間前往拜訪！