网络双评过程中作文评分误差以及评分者效应的分析--以大规模英语考试作文评分为例

摘要：

目前大规模考试作文评分大都采用双评评分模式，本研究采用多侧面Rasch模型（MFRM）分析双评模式下大型英语作文评分中的评分者误差来源及主要影响因素。对57名评分者所评价的2427篇作文分析发现：①评分者的宽严度存在显著的差异；②在作文评分中，约有22.8%的评分者之间的一致性较差，也存在约3.5%的评分者之间一致性过高；③约90%的评分者自身的一致性都较高，但仍有8.8%的评分者自身一致性很差，约2%的评分者出现评分自身一致性过高的情况；④从整体上讲，评分者在不同的评分标准（或维度）上、不同评分等级宽严程度的把握存在差异；评分者和被试，以及评分者、被试和评分标准三者的交互作用不显著；⑤评分者对男生和女生具有相同的宽严度。

关键词：主观题评分、多侧面Rasch模型、评分者误差分析

分类号：G405(教育学)

资助基金：北京市教育科学“十二五”规划2012年度青年专项课题“学业水平测验认知诊断功能的应用研究”CHA12109成果之一。

在线出版日期：2015-02-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：39-48