英国文化教育协会测评研究员艾玛·布鲁斯博士和来自剑桥大学的雅思研究负责人托尼·克拉克博士在研讨会上联合分享的“雅思考试的最新学术研究成果” ©

British Council

雅思考试的未来发展将遵循:严谨、透明和与时俱进

大家下午好!很多人问我们雅思做了哪些基础性的研究,今天我们俩将通过联合汇报的形式给大家介绍。

 现阶段,包括雅思在内的语言测评机构面临哪些问题? 

想要了解我们做了怎样的研究工作,以及当前所面临的挑战,就必须认识到教育领域在过去几年经历的重大变革,测评领域亦然。作为研究部门,我们有责任跟上这些变化,可以想象这一任务的难度很大的,因为变化发生得非常迅速。

目前我们想要提高考试的全球覆盖率,不仅希望帮助外国人了解世界,也希望帮助中国人认识世界,同时让外国人更好地了解中国。但这并不代表我们仅仅提供考试就足够了,我们的责任更在于保障考生的利益

还有一个考虑因素是多模态学习。数字时代对大学学习意味着什么?我们知道学生的学习方式发生了很大变化,但这种变化对前来参加测试、即将开始大学学习的学生们意味着什么?如何才能将这些多模态学习形式纳入高风险测试的评估中?要做到这一点并不容易,尤其是在雅思考试中,每年有 400 多万考生参加考试,这也是我们正在考虑的问题。世界上有大量采用线上考试的例子,但我们得思考怎样让这些分数具备可比性,确保我们的成绩使用者在线上和线下考取成绩是可比较的。在线考试的成绩虽然很重要,但不会成为我们评估时考虑的唯一因素,如何在保证考试质量保障考试覆盖率间找到平衡是我们思考的首要问题,我们要在保证考生英语语言标准的同时,也要保证我们考试的全球参与率有所提高。

我们经常思考的另一个问题就是如何提高透明度,就是我们今天在这里正在做的事情,我们向在座的各位展示我们的工作成果和发现,将它们公之于众,无论它们是积极的还是消极的,都将被大家发现并且记录下来。

剑桥大学扮演着何种角色?

众所周知,雅思考试是由三方合作伙伴共同拥有的。我们现在清楚了英国文化教育协会的作用,但并不是每个人都知道剑桥大学外语考试部的作用。

剑桥扮演的角色是保证“船不会沉,它的角色非常繁忙,因为要考虑很多统筹因素,而且需要掌握大量的工作,还要考虑到400万左右考生的庞大规模所带来的所有问题,要保证我们的标准不会降低。

当下时代背景中,我们发现所处的环境在不断变化,因此,我们邀请外部学者对我们的测试或我们认为重要的测试环境的某些方面进行研究。这一点尤为重要,因为这能给我们带来全新的一种视角,告诉我们需要了解什么。如果是按照正常的方式进行研究和验证会怎样?考试该如何开发,考试监考如何进行。我们现在也正在进行相应的研究,这样的研究过程需要持续进行。

我们还要向前看,要跟得上变化的步伐,需要不断地自省,不断地发展。比如多模态的学习,它涉及到什么因素,这些因素如何融合到我们未来的测评中。我们还需要对测评分数用户进行沟通,分数意味着什么。剑桥的另一项职责是管理题库,这也涉及到了新材料、报废材料等等,新旧题库需要更新换代,这是一个需要非常严格把控的过程。

雅思小组进行的多维度研究:从考生需求到高等教育入学

我将向大家介绍雅思研究小组最近开展的一些研究项目。从我们选取的例子中,就会发现,我们的研究范围相当广泛,不仅仅是某种考试验证研究。

首先,我们一直在关注的一个大项目是雅思单科重考。这是一项新举措,考生在参加过一次全科雅思机考后,自考试日(即原成绩单上注明的考试日期)起60天内可注册并参加一次单科重考。此项举措是根据考生的反馈意见推出的。针对这个新举措我们也深入研究了潜在的相关问题。我们首先要了解,选择单科重考的这些人的顾虑是什么,困难是什么,以及他们单科重考以后的效果怎样——重考的频率如何,重考以后是否会出现分数的变化,上升了还是下降了?我认为这些都是对这项调查或者说研究非常重要的内容。

这项研究中非常有意思,我们正在分析来自中国的一万多个学生的单项重考情况,但因为我们这个数据还没有完全的收集全,所以我暂时不会给大家公布一个具体的准确数字。在考虑单科重考的优势时,我们注意到它能够避免全科考试的高昂费用。在听说两项中,口语是考生最常选择重考的部分,听力紧随其后。我们关注的是整体分数分布趋势,而非个别考生的具体分数情况。我们研究的重点在于,重考后分数呈现上升和下降趋势?这有助于我们了解考生在哪些部分存在不足,以及之前的考试设置是否需要改进。通过调查,我们可以逐步发现考试中可能存在的问题或漏洞。在我们的研究过程中,特别是在听力部分,我们发现重考后考生的分数有了显著提升。

我们做的另一个项目是研究测试成绩的有效期。雅思有效期是两年,为此,英国的一家医疗监管机构与我们进行了接触,他们想了解这样设置的理由是什么。这促使我们开始研究这个问题,我们在 2021 年至 2022 年期间做了一些工作,进行了大规模的文献综述,我们研究了一些机构以及他们如何使用考试分数,包括监管机构、高等教育机构和移民机构。基本上,我们认为雅思分数的有效期问题涉及到公平性。一方面,如果考生的英语能力在考试后有所提高,而有效期限制导致他们的分数无法反映英语能力的提高,这对考生是不公平的。另一方面,对于使用雅思分数的机构来说,使用过期的分数可能会低估考生的实际能力,这对他们也是不公平的。以医生认证为例,如果一个医生的雅思成绩是在多年前取得的,而现在他们将在一个生死攸关的环境中工作,那么使用这个过期的成绩来评估他们的英语能力可能会带来严重的后果。相比之下,大学入学时使用雅思成绩的后果就显得没那么严重了。

第三个项目是研究高等教育入学考试的影响。自 2020 年以来,我们看到用于大学入学的测试范围更广了,我们也有听说学校对学生英语水平下降的担忧。从那时起,我们也翻阅了一些相关文献,看到了围绕这一话题的讨论,同时也发现,院校其实没有为学生提供足够的支持,能够支撑他们真正地融入大学,并在学术和社交方面充分利用。随之,为研究这个问题,我们调查了英国高等教育机构中不同测试的普遍程度,调查了从顶级大学到普通大学的所有大学,以及不同类型的机构。然后,我们进行了大规模的调查和广泛的访谈,访谈对象不仅包括教师或学术英语教师,还包括招生和招聘人员。我们询问了他们对不同测试的看法,以及他们所在院校是如何做出决定的。然后,我们还与学生进行了大量的焦点小组讨论,了解他们参加了哪些测试,以及他们来到英国后的经历。对此,我们正在开发一个专题讨论并为学生们开发能够提升语言能力的学术材料。我们认为,如果院校录取了学生,那么他们就有责任确保学生不仅仅是生存下来,而是能够真正茁壮成长,在学业上和社交上融入社会,并获得一段非常美好的经历。

除了我们雅思研究小组自己的项目之外,自1995年起,我们每年还会邀请独立研究人员来征集研究提案,并资助其进行独立验证研究。大家可以在雅思官网(ielts.org)上看到许多丰富的学术资源:350位独立研究者的资料和超过150份研究报告,这些报告提供了有关雅思考试的不同类型研究。例如,其中一份来自美国的研究报告,探讨了大学生的语言能力与其社会、情感和学术参与之间的相互作用。另一项是关于越南青少年雅思考试准备情况的研究。我们也会委托或邀请独立研究人员开展工作,去定制我们认为对雅思考试有价值的研究议题,我们委托他们完成了一项基于过去10年中国雅思考试的中文研究,基本上涵盖了同行评审期刊上的研究,其中也也包括硕士和博士论文。在过去的10年中,共完成了7项关于雅思考试的研究,其中包括8项期刊文章,2项博士论文,以及60项硕士论文。这些研究主要集中在学习者的视角,尤其是写作技能,以及考试任务的特点。我们从中发现,研究的侧重点也发生了一些有趣的变化,比如考试的可比性研究已经从与国内考试(例如中国的大学英语六级考试CET-6)的比较转向与国际考试的比较。其中的13 项研究则从社会和文化因素的角度对雅思和托福进行了比较——也就是说,我们的研究对象渐渐从语言能力和教学策略转向测试的其他维度,尤其是那些可能被考生社会和文化因素(如家庭背景)影响的维度,研究背景也慢慢的从大学和备考机构转向高中。这些研究的文献综述中显示,雅思考试显然为中国的课程发展或教学方法提供了参考,并提到了一些目前雅思考试面临的挑战,如教师培训、包括资源配置的优先级,以及并非所有学生都有意愿参加雅思考试的事实。然而,这些研究存在的一个局限性是其主要的参考来源都是基于硕士论文,因此,这些研究的可参考性需要再做权衡。 

严谨与质量保障仍是雅思未来发展的核心要义

我们会持续做研究和验证工作,严谨性和质量仍然非常重要,我们必须不断地保持质量和水平,甚至比以前下更多的功夫。在这样的采取了更多技术的大背景下,技术的参与也给我们的学习和测评带来了很多的变化。同时,更多的语言测评机构在市场上出现,有了更多的竞争。但我们可以通过我们所做的研究为此做好准备,关注不同测评的可比性,分析雅思学术类考试和雅思培训类考试之间的区别和共同点,我们也请了一些美国的学者研究测试结构的差异,以及这对测试成绩使用者意味着什么。我们利用数字时代多模态学习形式,与大学合作来关注和研究这个课题,能够使我们的测评更加的现代化。

我们达成的共识是:像雅思这样的大规模考试,一个极小的变化都会对考生产生重大的影响,我们需要非常谨慎。我们在这方面管理得非常好,但仍然有很多的工作需要做。我们是深受信赖的测评,这不仅是一个口号,也是一个现实,我们必须要保住这种长期的声誉。如果有新测评提供方进来采用不同方式,我们要确保不会让大家失望。我们可以看到研究和验证确实是雅思的重要基础工作,在未来会继续这方面的重要工作。