大语言模型在教育研究样本模拟中的保真度与偏差分析

—— 以在线自我调节学习能力为例

杜君磊   李爽   陈靖茜   李晶

[摘 要]  利用大语言模型生成模拟样本开展实验或调研，已成为教育研究范式革新的重要方向。 然而，当前鲜有研究通过与真实样本对比，系统检验模拟样本在教育研究中的可行性。 为此，本研究聚焦混合学习情境中的在线自我调节学习能力调研，基于173名7—8年级真实学生的基本特征（基础型）与在线学习行为指标（增强型）设计了两类提示词，系统比较了GLM-4-plus、GPT-4o 与 o1-preview 三种大语言模型所生成的模拟样本在信效度、数据分布及假设检验等方面的表现。 研究结果显示，GPT-4o与o1-preview在信效度、性别分布、亚群特征，以及与在线行为指标的相关性上具有较高保真度，而GLM-4-plus的整体表现相对逊色。此外，增强型提示词有助于提升模拟样本的结构效度并缓解性别偏差。研究还发现，与人类样本相比，模拟样本在多样性与变量关系上存在一定误差。本研究为理解大 语言模型关于自我调节学习能力的“机器思维”提供了实证依据，也为在教育研究中应用大语言模型生成的模拟样本提供了有价值的参考。

[关键词]  大语言模型；教育研究方法；模拟样本；在线自我调节学习

点击查看原文：大语言模型在教育研究样本模拟中的保真度与偏差分析——以在线自我调节学习能力为例