概化理论和多层面Rasch模型在CET-4作文评分中的应用研究  

An Investigation into CET-4 Essay Rating Using Generalizability Theory and Many-facet Rasch Model

作　　者：徐鹰[1] 

机构地区：[1]华南理工大学外国语学院,广东广州510640

出　　处：《西安外国语大学学报》2016年第1期91-95,共5页Journal of Xi’an International Studies University

基　　金：广东省教育科研项目"大规模考试中评分人决策风格的诊断研究"(项目编号:2013JK013);广东省哲学社科规划学科共建项目"大规模考试作文评分人评分策略问卷的开发和效度验证--以CET4为例"(项目编号:GD14XWW21);广东教育教学成果奖(高等教育)培育项目"以评促学--大学英语国家精品课程写作自我评估系统的支架作用研究与实践";华南理工大学校级教改项目"大学英语国家精品课程写作自我评估系统的开发"(项目编号:X2WY-Y1141940)的部分研究成果

摘　　要：本研究采用概化理论和多层面Rasch模型,对26位CET-4作文评分人给30篇CET-4模拟作文的分数进行了分析。概化理论研究结果表明:考生能力是测试总变异的主要来源(77.7%),在当前采用一评的评分条件下,概化系数(0.81)可以接受。多层面Rasch模型分析结果表明:评分人严厉度差异显著,但自我一致性较好,评分人和考生偏差存在对高分和中分考生偏严、对低分考生偏松的问题,评分标准整体上能区分不同水平考生。By adopting both Generalizability Theory（ GT） and Many-facet Rasch Model（ MFRM）,the study investigates 26CET-4 accredited raters＇ ratings for 30 CET-4 mock essays. The results of GT analysis indicate that the test-taker is the major source of total variance（ 77. 7%）. In the current situation where one test-taker is rated by one rater,the generalizability coefficient（ 0. 81） is acceptable. MFRM results show that raters differ significantly in severity,but most of them are internally consistent,and they tend to rate high-and middle-level test-takers more severely and low-level test-takers more leniently. Besides,the CET-4 essay rating scale is able to discriminate test-takers effectively.

关 键 词：概化理论 多层面RASCH模型 CET-4作文评分 

分 类 号：H315[语言文字—英语] H030