科学出版物

在 GPT-5 的帮助下完成任务,随后只能独立应对:一项随机试验测量 AI 辅助的学习成本

三项随机试验(1,222 名参与者),由 Carnegie Mellon、Oxford、MIT 和 UCLA 的研究者完成:使用 GPT-5 训练会在移除助手后削弱表现——正确率从 73% 降至 57%——并使放弃率几乎翻倍。

STStephane Nachez · ·1 min
在 GPT-5 的帮助下完成任务,随后只能独立应对:一项随机试验测量 AI 辅助的学习成本
Visuel d'illustration généré par l'IA
Sommaire

当助手消失后,技能还剩下什么?4 月上线至 arXiv 的一系列随机对照试验,给出了首批因果层面的答案之一:在 AI 助手陪伴下训练,会降低持续作答的意愿,并削弱独立表现——即便是在分数计算这样基础的任务上也是如此。该研究由 Grace Liu(Carnegie Mellon)、Brian Christian 与 Tsvetomira Dumbalska(Oxford)、Michiel A. Bakker(MIT)以及 Rachit Dubey(UCLA)共同署名,其中 Christian 也是 The Alignment Problem 一书的作者。

研究设计

研究团队共招募 1,222 名参与者,随机分配到三项实验中。主实验中,参与者先完成 12 道分数题训练——可使用或不使用基于 GPT-5 的助手——随后所有人都在无辅助条件下完成同样的 3 道最终测试题,并且在任何时候都可以点击“跳过”按钮放弃某道题。第二项复现实验(667 名参与者)通过加入前测强化了设计;第三项实验则将同一流程迁移到文本理解任务中。

实验结果

结果差距十分明显。在主实验的最终无 AI 测试中,先前使用过助手的组别正确完成了 57% 的题目,而独立训练组为 73%;放弃率几乎翻倍,从 11% 升至 20%。复现实验同样观察到这一效应,尽管幅度有所减弱(71% 对 77%);文本理解任务也得出了相同结论(76% 对 89%,且放弃次数增加了 8 倍)。而这一切只发生在大约十分钟的接触之后:AI 辅助不仅把能力“转移”到了工具上,也削弱了参与者本身面对困难时继续努力的倾向。作者将其解释为一种条件化效应:AI 让人习惯即时得到答案,同时剥夺了克服困难的练习机会。

这项研究证明了什么,又没有证明什么

这项研究的价值在于其实验设计:随机分配使研究者能够进行因果解释,而这正是多数关于 AI 相关“认知萎缩”的研究所不具备的——后者通常依赖相关性或自我报告。与此同时,它的局限也同样清晰。该论文仍是 preprint,尚未经过同行评审;任务范围较窄——仅涉及分数和短文本阅读;观察窗口也很短;只测试了一个模型;而且在更严格的复现实验中,效果明显减弱。换句话说,这项研究建立的是一种机制,而不是一条普遍规律。

为什么这个结果重要

尽管如此,这一机制的意义远不止于实验室。在教育场景中,它印证了教师长期担忧的情形:一种工具在提升即时产出的同时,也在侵蚀人们脱离工具后的独立完成能力。在企业中,随着助手逐步成为隐性培训工具,这项研究提示:表面上的“辅助后表现”可能会误导团队真实能力的判断。对于助手产品的设计者而言,这也支持一种仍然少见的思路:有意加入摩擦,设计“引导而不代答”的训练模式。问题不再是 AI 是否有帮助——它确实有帮助——而是当它被移除后,究竟还留下了什么。

ST
Stephane Nachez
subscriber

Rédaction ActuIA — actualités, données et analyses sur l'intelligence artificielle pour les décideurs.