查看: 4210|回复: 9

Educational measurement和psychological measurement

33 主题	6 听众	7709 积分

贡士

Rank: 15

注册时间: 2010-4-15
最后登录: 2013-9-16
积分: 7709
精华: 0
主题: 33
帖子: 610

电梯直达

楼主

发表于 2010-10-13 10:51:37 |只看该作者 |倒序浏览

Dear All
最近接觸到教育領域有關能力的量測方法─試題反應理論(Item Response Theory)，其有別於傳統測量理論，是新一代的心理測量模式，主要用於學生或應試者的能力評量(如GRE)，其結果宣稱可建立一把心理量測的尺(如量長度的尺)。
我的疑問為，開始有研究將這個方法應用到reflective measurement model，用以分析利用李克特量表所得的data，這個在教育領域用以得到學生能力分數的方法，和在管理領域中要去猜到潛在構念score所常使用的方法(如SEM)，這兩者之間是可以互相交互應用的嗎？也就是說，這兩種方法在猜同一個東西(latent construct)嗎？想請教Kenny與大家的意見，謝謝！

转播0 淘帖0 分享0 收藏0 支持0 反对0 @朋友

使用道具举报

Kenneth

69 主题	219 听众	2万积分

中人网专家

Rank: 50

注册时间: 2003-1-21
最后登录: 2016-11-27
积分: 29016
精华: 0
主题: 69
帖子: 1438

沙发

发表于 2010-10-15 17:27:29 |只看该作者

我没有留意这方面的研究。有人把两者拉上关系吗？

使用道具举报

找天堂

12 主题	5 听众	3492 积分

解元

Rank: 12

注册时间: 2010-8-19
最后登录: 2018-5-16
积分: 3492
精华: 0
主题: 12
帖子: 325

板凳

发表于 2010-10-15 17:52:27 |只看该作者

回复 1楼 jkliang 的帖子

能不能再具体的讲讲这个新方法是什么，或者提供一些资料给大家先看看的？

中人网社区招募“中国好版主”11月话费已送出

使用道具举报

mostwanted

4 主题	6 听众	627 积分

秀才

Rank: 5 Rank: 5

注册时间: 2010-7-6
最后登录: 2014-7-27
积分: 627
精华: 0
主题: 4
帖子: 50

地板

发表于 2010-10-15 19:04:43 |只看该作者

回复 2楼 Kenneth 的帖子

这篇in press的ORM算吗？

Using Mixed-Model Item Response Theory to Analyze Organizational Survey Responses: An Illustration Using the Job Descriptive Index

使用道具举报

jkliang

33 主题	6 听众	7709 积分

贡士

Rank: 15

注册时间: 2010-4-15
最后登录: 2013-9-16
积分: 7709
精华: 0
主题: 33
帖子: 610

5楼

发表于 2010-10-17 13:26:00 |只看该作者

小弟的研究室學長們以使用此方法論發表多篇期刊，但多數發表在運輸管理領域，若大家有興趣可以在期刊相關資料庫中搜尋作者Hsin-Lin Chang或Chang HL，即可找到相關文章。mostwanted所提應該也是這系列的研究，我會再去研讀。

這個研究方法和傳統測量理論不一樣的地方在於，將試題與應試者放在同一個量尺(logit)上進行討論。以敝研究室學長的文章內容為例，這篇文章主要目的在量測「老人搭乘公車的能力」，量表共有18題，都是5尺度。以IRT中單參數模式─Rasch model的結果呈現，稱為item-person map，在圖中左邊為應試者，右邊為題目，右上而下難度遞增。以試題而言，Item10最難，Item06最簡單，也就是說Item10─maintaining balance while standing when the bus is accelerating/decelerating對於應試者來說很困難，Item06-─purchasing the ticket on the bus最容易做到。左邊是應試者，每一個#代表一個sample，在Item10以上有36個sample，表示有36個人答對了Item10，也就是說Item10「相對」他們來說並不困難。以上簡略說明，希望大家能夠了解。(我好像有權限問題，無法上傳圖片或超連結，不知道該怎麼讓大家看到圖呢？大家可以"item-person map"及"Rasch"當關鍵字搜尋，大概可以推論我的描述)

進一步說明我原本的問題，這是個量測「老人搭乘公車的能力」這個latent的量表，其目的想了解每個試題和受測者之間相對的難度，當然這個方法也提供了一個latent的score，我覺得對於Educational Measurement是很make sense的，但是在管理領域呢？這個方法著重在item和person的相對分析而不是construct之間的連結，對於管理研究在追求construct之間的關連性以建立理論這個目的而言，似乎方向並不正確；例如，當這個量表換為LMX的量測時，需要把LMX量表下的每個題目提出討論嗎？我想SEM中的measurement model應該可以做的很不錯了！這是個問題嗎？或者僅僅只是方法論的不同階段應用而已。不過，研究室學長常常以IRT與SEM相提並論，我想我和他們持不同意見，或是僅是研究目的不同，是我杞人憂天了！

使用道具举报

mostwanted

4 主题	6 听众	627 积分

秀才

Rank: 5 Rank: 5

注册时间: 2010-7-6
最后登录: 2014-7-27
积分: 627
精华: 0
主题: 4
帖子: 50

6楼

发表于 2010-10-17 14:47:48 |只看该作者

回复 5楼 jkliang 的帖子

谢谢jkliang的分享。。

使用道具举报

chienhsin

8 主题	5 听众	366 积分

书生

Rank: 3 Rank: 3 Rank: 3

注册时间: 2010-8-25
最后登录: 2012-5-9
积分: 366
精华: 0
主题: 8
帖子: 79

7楼

发表于 2010-10-18 17:23:35 |只看该作者

回复 5楼 jkliang 的帖子

補充我的瞭解。

Item response theory一般會搭配CAT (computer-adaptive testing)來使用，會使「猜」分數的過程更有效率。

此外，Item response theory最後會「猜出」一個測量分數，拿這個分數到SEM當成indicator來使用，我個人認為是可以的。這只是測量的工具不同，我們可以身體感覺猜今天溫度，可以拿溫度計當參考，不管如何，拿這些數字當成SEM的indicator有不妥的地方嗎？

本帖最后由 chienhsin 于 2010-10-18 17:26 编辑

使用道具举报

jkliang

33 主题	6 听众	7709 积分

贡士

Rank: 15

注册时间: 2010-4-15
最后登录: 2013-9-16
积分: 7709
精华: 0
主题: 33
帖子: 610

8楼

发表于 2010-10-18 21:50:48 |只看该作者

回复8樓 chienhsin 的帖子

Dear chienhsin
將IRT所猜出來的分數取代SEM的raw score，基本上我也認同這個做法是可行的，敝研究室也是採用這個方式(如果必要的話)。只是我認為，IRT用以批判古典測量理論(CTT)的論點，並無展現出這個方法論優於CTT的具體結果，因為我們永遠不知道True Score是多少，IRT宣稱其方法較CTT「猜」的更準，沒有標準答案，如何談論「準」或「不準」呢？但我想這也是目前研究方法上的限制，我們還是只能去驗證兩變數間的關係，無法得到確切的代數關係(如物理學中的PV=nRT)，若以此來看，我想CTT應該表現的很不錯囉！
但不能否認的是，IRT能將item-person進行對比，或許能讓我們能夠看到在data後面所蘊含的訊息。