中人网
标题: Educational measurement和psychological measurement [打印本页]
作者: jkliang 时间: 2010-10-13 10:51
标题: Educational measurement和psychological measurement
Dear All
( u6 C. o) K/ x" o3 x ` 最近接觸到教育領域有關能力的量測方法─試題反應理論(Item Response Theory)，其有別於傳統測量理論，是新一代的心理測量模式，主要用於學生或應試者的能力評量(如GRE)，其結果宣稱可建立一把心理量測的尺(如量長度的尺)。7 u/ C+ u6 i: x' H' W) K- B
我的疑問為，開始有研究將這個方法應用到reflective measurement model，用以分析利用李克特量表所得的data，這個在教育領域用以得到學生能力分數的方法，和在管理領域中要去猜到潛在構念score所常使用的方法(如SEM)，這兩者之間是可以互相交互應用的嗎？也就是說，這兩種方法在猜同一個東西(latent construct)嗎？想請教Kenny與大家的意見，謝謝！0 E m8 d, L3 A( _2 Z* F
作者: Kenneth 时间: 2010-10-15 17:27
我没有留意这方面的研究。有人把两者拉上关系吗？
作者: 找天堂 时间: 2010-10-15 17:52
回复 1楼 jkliang 的帖子
+ X. j# Z; z. M m6 W- @: z' C9 }+ a7 b/ z2 e% V; y% ^; v
% n- u( d& f$ k) m) i5 G$ Y& Y 能不能再具体的讲讲这个新方法是什么，或者提供一些资料给大家先看看的？
作者: mostwanted 时间: 2010-10-15 19:04
回复 2楼 Kenneth 的帖子
9 \3 n U: |% \
. _& C( d+ Y# U: {8 z, I) |8 L- @& X& t' O
这篇in press的ORM算吗？
& Q5 q3 u/ s6 J
8 x. p6 d, K0 j5 C; n2 fUsing Mixed-Model Item Response Theory to Analyze Organizational Survey Responses: An Illustration Using the Job Descriptive Index
2 e5 J8 g& v8 a2 T5 r3 j$ g+ S: u& A
作者: jkliang 时间: 2010-10-17 13:26
小弟的研究室學長們以使用此方法論發表多篇期刊，但多數發表在運輸管理領域，若大家有興趣可以在期刊相關資料庫中搜尋作者Hsin-Lin Chang或Chang HL，即可找到相關文章。mostwanted所提應該也是這系列的研究，我會再去研讀。
這個研究方法和傳統測量理論不一樣的地方在於，將試題與應試者放在同一個量尺(logit)上進行討論。以敝研究室學長的文章內容為例，這篇文章主要目的在量測「老人搭乘公車的能力」，量表共有18題，都是5尺度。以IRT中單參數模式─Rasch model的結果呈現，稱為item-person map，在圖中左邊為應試者，右邊為題目，右上而下難度遞增。以試題而言，Item10最難，Item06最簡單，也就是說Item10─maintaining balance while standing when the bus is accelerating/decelerating對於應試者來說很困難，Item06-─purchasing the ticket on the bus最容易做到。左邊是應試者，每一個#代表一個sample，在Item10以上有36個sample，表示有36個人答對了Item10，也就是說Item10「相對」他們來說並不困難。以上簡略說明，希望大家能夠了解。(我好像有權限問題，無法上傳圖片或超連結，不知道該怎麼讓大家看到圖呢？大家可以"item-person map"及"Rasch"當關鍵字搜尋，大概可以推論我的描述)
1 W4 J% t& I9 N( A$ n5 L
進一步說明我原本的問題，這是個量測「老人搭乘公車的能力」這個latent的量表，其目的想了解每個試題和受測者之間相對的難度，當然這個方法也提供了一個latent的score，我覺得對於Educational Measurement是很make sense的，但是在管理領域呢？這個方法著重在item和person的相對分析而不是construct之間的連結，對於管理研究在追求construct之間的關連性以建立理論這個目的而言，似乎方向並不正確；例如，當這個量表換為LMX的量測時，需要把LMX量表下的每個題目提出討論嗎？我想SEM中的measurement model應該可以做的很不錯了！這是個問題嗎？或者僅僅只是方法論的不同階段應用而已。不過，研究室學長常常以IRT與SEM相提並論，我想我和他們持不同意見，或是僅是研究目的不同，是我杞人憂天了！
作者: mostwanted 时间: 2010-10-17 14:47
回复 5楼 jkliang 的帖子
3 o- V+ K- z+ h' Y% \3 \: o0 j
( ?' u$ L) D) D+ q$ Y# l5 n: H
6 ?0 Y* ~7 T- v- Z. P/ F- E+ K* q 谢谢jkliang的分享。。
作者: chienhsin 时间: 2010-10-18 17:23
回复 5楼 jkliang 的帖子2 @" W. {0 D( U9 y& c' H. o9 i g
( o# b2 I( V4 f
) E/ b" T# ^& `6 Q/ Y& { 補充我的瞭解。4 N! K, f' Y9 J% P; y1 O: z; X
1 _ g" F; ^. {6 Q ~Item response theory一般會搭配CAT (computer-adaptive testing)來使用，會使「猜」分數的過程更有效率。( @, z. ~) I5 M. C. m' V" v
7 M& D% X+ B& x% t7 s8 T& B! P0 R, ~6 t此外，Item response theory最後會「猜出」一個測量分數，拿這個分數到SEM當成indicator來使用，我個人認為是可以的。這只是測量的工具不同，我們可以身體感覺猜今天溫度，可以拿溫度計當參考，不管如何，拿這些數字當成SEM的indicator有不妥的地方嗎？) I0 y) _& O" v; S8 P
" a5 e% Z3 Q4 P6 s
$ w( b0 K0 \; L/ I9 ]/ F1 ^6 Y. Z4 F0 i# e! B4 f, }
本帖最后由 chienhsin 于 2010-10-18 17:26 编辑 ! ^- I; G5 n) ^9 z. ~2 v
! s# L4 q, F2 @5 X6 g+ _1 o8 M
作者: jkliang 时间: 2010-10-18 21:50
回复8樓 chienhsin 的帖子
1 |1 I' k3 a$ _. [! Y7 `
8 d4 d- _$ M& o: ]% MDear chienhsin! R. v6 K" U+ s, G4 q
將IRT所猜出來的分數取代SEM的raw score，基本上我也認同這個做法是可行的，敝研究室也是採用這個方式(如果必要的話)。只是我認為，IRT用以批判古典測量理論(CTT)的論點，並無展現出這個方法論優於CTT的具體結果，因為我們永遠不知道True Score是多少，IRT宣稱其方法較CTT「猜」的更準，沒有標準答案，如何談論「準」或「不準」呢？但我想這也是目前研究方法上的限制，我們還是只能去驗證兩變數間的關係，無法得到確切的代數關係(如物理學中的PV=nRT)，若以此來看，我想CTT應該表現的很不錯囉！1 {, f- ?9 p9 U0 U" W/ V
但不能否認的是，IRT能將item-person進行對比，或許能讓我們能夠看到在data後面所蘊含的訊息。
_' S' W) D, ]- F! s# Y* o1 U& ? 另外，23/24在中興大學，王熾森老師的workshop您會出席嗎？; F1 H3 c9 \% \) U" Y v
^& f! ? G& P Z" }# ? 本帖最后由 jkliang 于 2010-10-18 21:53 编辑
5 e% J ~0 h' N" `
; `" J$ K5 O4 u3 k F `
作者: chienhsin 时间: 2010-10-19 12:47
回复 8楼 jkliang 的帖子( M) U+ [2 v4 L- i
' m9 C2 e; Y- b1 W' H- _
/ A7 U- R9 u1 u0 J5 j0 w% b 我無法出席23-24的workshop。
) S0 B$ p* `* M% h
2 i9 F9 S% Q' \不過我在苗栗的學校服務，你有路過苗栗時，可以順道來聊聊。$ |* ~5 h& R Z
* c/ P% y- [1 ]4 K+ z. N( d0 Z2 x. h! @! D# ^
作者: jkliang 时间: 2010-10-19 13:10
改日與您約時間前往拜訪！
| 欢迎光临 中人网 (http://bbs.chinahrd.net/) |
Powered by Discuz! X2.5 |