新东方网>资讯>深度观察>正文

新东方教师ETS之行:标准化考试是如何设计和出题的

2014-12-08 09:38

来源:新东方网

作者:孙占东

  今天非常荣幸地接受了三位重量级ETS人物的培训,分别是来自ETS考试评估战略部门的总监Nancy Glazer、以及其他两位考试设计专家Elizabeth Ashmore、和Barbara K. Suomi。三位ETS考试专家分别由大到小、由宽泛到具体地阐述了标准化考试是如何设计和出题的,感觉非常受用。

  首先Nancy给我们介绍了ETS考试设计中常用的一个方法,即ECD(Evidence-centered design),该方法ETS于90年代首创。 ECD主要强调了三点,即claims(要求)、evidence(证据)、task/item(任务/问题)。claims是指考试出题者(test developer)想要考查被考察者(test taker)的能力 ,拿TOEFL为例,即是想考查学生是否具备英语环境下充分利用英语交流和学术学习的能力。当然,我们会发现ETS会将考生需要的能力(claims)细化到非常详细的程度,拿阅读为例,比如考查学生的文章概括能力(summary)、词汇在语境中的识别能力(vocabulary interpretation in context)等等。由此可见,claims是ETS考试设计的出发点,如果能够清晰抓住claims,则能够帮助老师回到解题的起点,从而为学生提供更加直接和有用的学习指导和建议。之后,ETS会依据claims来寻找证明这些claims的证据(evidence)。当claims和evidence都具备后,ETS会设计task model和task shell,即设计通过什么样的任务来完成对于学生要求(claims)的考查。

新东方教师ETS之行

Nancy Glazer

Strategic Director for Assessment Development

  Nancy以美国共同教育大纲(CCSS:Common Core State Standards)编写为例,给出了特别详细的ECD操作流程。

  Common Core State Standards Design

  在这个操作流程中,我们可以发现claims、evidence和task/item是其中的核心,这三点为保证学生所需能力得以证明提供了基础(当然考试的设计还需要后期的不断验证和修改)。如果这样,对于ECD的了解就会对于新东方的托福、SAT等考试培训提供非常好的理论依据及指导。我们可以充分研究ETS在官网等渠道放出的对于TOEFL、SAT、GRE等考试的要求描述,进而帮助学生去打造基础知识体系。当然,在过去的20年里,新东方一直在这方面努力,且取得了很多成果。我们相信ETS的官方理论解释支持下,会更有方向和成果。

  基于Nancy的ECD理论,Elizabeth详细阐述了考试设计过程中的细节要求(specifications),ETS考试设计专家们会根据考试设计的要求(claims)来选取evidence和设计tasks/items,在选取evidence和tasks/items的过程中,有一系列内容需要进一步细化,比如考试内容范围是什么(content domain)、 考试形式(testing format)、考试问题的数量(Numbers of test items)、考试难度(difficulty level)、时间(timing)、给分方式(item scoring)、分数解释(score interpretation)等等。在了解这个问题的过程中,能够帮助老师更好地把握出题的规律和形式,从而给予学生更直接和实用的指导建议。

新东方教师ETS之行

Elizabeth Ashmore

Assessment Specialist

  以上两位专家为我们详细阐述了考试设计的流程和理论依据(Evidence-centered Design)和在实际操作过程中需要细化和注意的点(specifications),但其实我们最关心的问题仍然是--考试题目(在EST,将其称之为item)到底是怎么设计出来的? 最后Barbara专家以Multiple-choice Items为例为我们做了详细的阐述。

  当然,在开始之前,Barbara仍然为我们强调了item创作的前提和要求,即一个good item应该符合考试的目的和要求(purpose of the test and the claims of the test)、且必须保证公平、效度和信度。

  回到正题,Barbara为我们介绍了在item设计过程中的原则,这些原则指出了test developer在设计具体item时遵守和避开的原则,很大程度上为我们指导和培训学生提供了框架。几点比较重要和实用的原则是:

  首先是题目本身的设计,应遵守:

  1. 所使用的材料尽量保证对于所有学生都是全新的,比如经常会被使用的教材或者阅读资料不会作为考试素材的。

  2. 重点考察学生的主要能力,而非细枝末节。

  3. 如果想要测试一个学生具备较高能力,确保是去考察学生的逻辑思维能力或者对于概念的理解力,而非通过晦涩难懂的方式。

  4. 在设计问题时尽量简洁、直接、易懂。而非题目本身就很难懂,除非题目本身的阅读难度也是考查的一个方面。

  5. 在题目设计是尽量使用完整的表达,尽量少使用填空的方式,除非考试要求。

  6. 尽量少使用否定词加大阅读难度,比如NOT、EXCEPT、LEAST等。

  7. 题目设计的难度必须适中,难题、简单题或者中等难度的题要分部合理。且一定不能出现题目之间有互相提示的现象。

  其次是选项的设计,应遵守:

  1. 提供一个最好的答案,确保认真准备的学生都能选对,且确保答案无争议。

  2. 干扰选项的设计要具备迷惑性,且干扰方式应该多样,比如偷换概念、答非所问、范围变化等等。

  3. 选项必须保证语法和句法的正确。

  4. 答案不能因为长度、复杂程度、用词等原因被学生直接识别出来。

  5. 干扰选项中不能包含表示绝对含义的指示词,比如always、never等。

  通过Barbara的介绍,让我们对于考试题目和选项的设计有了更加官方的认识,同时也为新东方多年以来的教学提供了进一步的理论支持。

新东方教师ETS之行

Barbara K. Suomi

Assessment Specialist

  关于ETS学习成果和心得会持续整理中,敬请期待。届时我也会将同行新东方老师的感悟和心得与大家分享和交流。谢谢!

  如果您对留学考试有任何疑问,欢迎拨打北美项目部留学考试电话:400-817-1818,我们会有最专业的学习顾问为您解答!

  2014年12月3日

  美国 普林斯顿

(责任编辑:蔡安)

教育头条

  • 中学
  • 大学
  • 留学
  • 英语学习
  • 小学
  • 学前

            新东方辅导专区

            班级名称 上课地点 上课时间 费用 详细

            焦点推荐

            版权及免责声明

            凡本网注明"稿件来源:新东方"的所有文字、图片和音视频稿件,版权均属新东方教育科技集团(含本网和新东方网) 所有,任何媒体、网站或个人未经本网协议授权不得转载、链接、转贴或以其他任何方式复制、发表。已经本网协议授权的媒体、网站,在下载使用时必须注明"稿件来源:新东方",违者本网将依法追究法律责任。

            本网未注明"稿件来源:新东方"的文/图等稿件均为转载稿,本网转载仅基于传递更多信息之目的,并不意味着赞同转载稿的观点或证实其内容的真实性。如其他媒体、网站或个人从本网下载使用,必须保留本网注明的"稿件来源",并自负版权等法律责任。如擅自篡改为"稿件来源:新东方",本网将依法追究法律责任。

            如本网转载稿涉及版权等问题,请作者见稿后在两周内速来电与新东方网联系,电话:010-60908555。

            热搜关键词