Wetenschappelijke publicatie

Gesteund door GPT-5, daarna op zichzelf aangewezen: gerandomiseerde studie meet de leerkost van AI-assistentie

Drie gerandomiseerde onderzoeken (1.222 deelnemers) van onderzoekers van Carnegie Mellon, Oxford, MIT en UCLA: trainen met GPT-5 verslechtert de prestaties zodra de assistent wordt weggenomen — 57% succes tegenover 73% — en doet het aantal afhakers bijna verdubbelen.

STStephane Nachez · ·3 min
Gesteund door GPT-5, daarna op zichzelf aangewezen: gerandomiseerde studie meet de leerkost van AI-assistentie
Visuel d'illustration généré par l'IA
Sommaire

Wat blijft er over van vaardigheden wanneer de assistent verdwijnt? Een reeks gerandomiseerde gecontroleerde onderzoeken, in april gepubliceerd op arXiv, biedt een van de eerste causale antwoorden: trainen met een AI-assistent verlaagt de volharding en verslechtert de autonome prestaties — zelfs bij een taak die zo elementair is als het berekenen van breuken. De studie is van Grace Liu (Carnegie Mellon), samen met Brian Christian en Tsvetomira Dumbalska (Oxford), Michiel A. Bakker (MIT) en Rachit Dubey (UCLA) — Christian is de auteur van The Alignment Problem.

Het protocol

De onderzoekers rekruteerden in totaal 1.222 deelnemers, willekeurig verdeeld over drie experimenten. In het belangrijkste experiment oefenen deelnemers op 12 breukopgaven — met of zonder een assistent op basis van GPT-5 — en maken daarna allemaal dezelfde eindtest met 3 opgaven, zonder hulp, met op elk moment een knop ‘overslaan’ om een opgave op te geven. Een replicatie (667 deelnemers) verstrengde het ontwerp met een pretest, en een derde experiment paste hetzelfde protocol toe op tekstbegrip.

De resultaten

Het verschil is duidelijk. In de eindtest zonder AI van het hoofdexperiment behaalde de eerder ondersteunde groep 57% juiste antwoorden, tegenover 73% voor de groep die zelfstandig had geoefend; het uitvalpercentage verdubbelde bijna, van 11% naar 20%. De replicatie vond hetzelfde effect terug, zij het afgezwakt (71% tegenover 77%), en tekstbegrip bevestigde het patroon (76% tegenover 89%, met acht keer zoveel afhakers). Dat alles na slechts ongeveer tien minuten blootstelling: de assistentie heeft niet alleen de vaardigheid naar de tool verschoven, maar ook de bereidheid om inspanning te leveren zelf aangetast. De auteurs zien hierin een vorm van conditionering: AI maakt gebruikers gewend aan een onmiddellijk antwoord en ontneemt hen de ervaring om moeilijkheden zelf te overwinnen.

Wat de studie bewijst — en wat niet

De kracht van het resultaat zit in het onderzoeksdesign: de willekeurige toewijzing maakt een causale interpretatie mogelijk, terwijl de meeste studies over vermeende AI-gerelateerde ‘cognitieve atrofie’ steunen op correlaties of zelfrapportage. De beperkingen zijn even duidelijk. Het gaat om een preprint, nog niet peer-reviewed. De taken blijven smal — breuken en korte teksten —, de tijdshorizon is kort, slechts één model werd getest, en het effect wordt merkbaar kleiner in de replicatie met een strenger protocol. De studie toont een mechanisme aan, geen algemene wetmatigheid.

Waarom dit resultaat ertoe doet

Dat mechanisme is echter relevant ver buiten het lab. In het onderwijs bevestigt het precies het scenario waar leraren voor vrezen: een tool die de onmiddellijke output verbetert, maar tegelijk het vermogen aantast om zonder die tool te presteren. In bedrijven, waar assistenten worden uitgerold als impliciete trainingsmiddelen, suggereert het dat geassisteerde prestaties een misleidende indicator zijn van de echte competentie van teams. En voor ontwerpers van assistenten pleit het voor zeldzame ontwerpkeuzes: bewuste frictie, trainingsmodi waarin AI begeleidt zonder alles op te lossen. De vraag is niet langer of assistentie helpt — dat doet ze — maar wat ze achterlaat wanneer ze wordt weggenomen.

ST
Stephane Nachez
subscriber

Rédaction ActuIA — actualités, données et analyses sur l'intelligence artificielle pour les décideurs.