大语言模型在无锚题等值中的应用——以阅读素养测评为例

杜君磊，郑勤华，宋义深

北京师范大学 教育学部远程教育中心，北京 100091

摘要： 在实际的教育测评中，针对同一能力的不同测评通常不会使用相同的题目。现有方案在实现无锚题场景下的测评分数等值时，存在依赖额外题目信息或实施成本高昂等问题。本研究提出了一种基于大语言模型的低成本且无需额外题目信息的无锚题等值方案。其主要原理是利用大语言模型在待等值测评之间构建连接组，从而实现等值。本研究以两份小学阅读理解题为例，分别选取GPT3. 5、GPT4. 0和讯飞星火3. 5构建连接组，从提示词工程（zero-shot、one-shot 和few-shot）和连接组样本数（500和1000）两个方面对比其在等值上的成效。研究结果显示，GPT4. 0在大样本连接组的one-shot 和few-shot 场景下表现良好，表明以大语言模型智能体作为无锚题连接组的设计方案是可行的。

关键词： 等值；无锚题等值；大语言模型

点击查看原文：大语言模型在无锚题等值中的应用——以阅读素养测评为例