Publicație științifică

Ajutați de GPT-5, apoi lăsați pe cont propriu: un experiment randomizat măsoară costul de învățare al asistenței IA

Trei experimente randomizate (1.222 de participanți) realizate de cercetători de la Carnegie Mellon, Oxford, MIT și UCLA arată că antrenamentul cu GPT-5 poate deteriora performanța după retragerea asistentului — 57% rată de reușită față de 73% — și aproape dublează abandonurile.

STStephane Nachez · ·3 min
Ajutați de GPT-5, apoi lăsați pe cont propriu: un experiment randomizat măsoară costul de învățare al asistenței IA
Visuel d'illustration généré par l'IA
Sommaire

Ce mai rămâne din competențe atunci când asistentul dispare? O serie de experimente randomizate controlate, publicată pe arXiv în aprilie, oferă unul dintre primele răspunsuri cauzale: antrenamentul cu un asistent IA reduce perseverența și degradează performanța autonomă - inclusiv într-o sarcină atât de elementară precum calculul fracțiilor. Studiul este semnat de Grace Liu (Carnegie Mellon), alături de Brian Christian și Tsvetomira Dumbalska (Oxford), Michiel A. Bakker (MIT) și Rachit Dubey (UCLA) - Christian fiind autorul volumului The Alignment Problem.

Protocolul

Cercetătorii au recrutat în total 1.222 de participanți, repartizați aleatoriu în trei experimente. În cel principal, participanții se antrenează pe 12 probleme de fracții - cu sau fără un asistent bazat pe GPT-5 - apoi susțin toți aceeași probă finală, formată din 3 probleme, fără asistență, având în orice moment un buton „skip” pentru a abandona o problemă. O replicare (667 de participanți) înăsprește designul cu un pretest, iar al treilea experiment transpune protocolul la înțelegerea textului.

Rezultatele

Diferența este clară. La testul final fără IA din experimentul principal, grupul asistat anterior rezolvă corect 57% dintre probleme, față de 73% în grupul care s-a antrenat singur; rata de abandon aproape se dublează, de la 11% la 20%. Replicarea confirmă efectul, într-o formă atenuată (71% față de 77%), iar înțelegerea textului îl reconfirmă (76% față de 89%, cu de opt ori mai multe abandonuri). Toate acestea după o expunere de doar aproximativ zece minute: asistența nu a mutat doar competența către instrument, ci a afectat însăși disponibilitatea de a depune efort. Autorii interpretează fenomenul ca pe un tip de condiționare: IA obișnuiește utilizatorul cu răspunsul imediat și îl privează de experiența depășirii dificultății.

Ce demonstrează studiul - și ce nu demonstrează

Punctul forte al rezultatului ține de design: asignarea aleatorie permite o lectură cauzală, spre deosebire de majoritatea lucrărilor despre „atrofia cognitivă” asociată cu IA, care se bazează pe corelații sau autoevaluări. Limitele sunt la fel de clare. Este vorba despre un preprint, încă nevalidat prin peer review. Sarcinile rămân înguste - fracții și lectură de texte scurte -, orizontul este imediat, a fost testat un singur model, iar efectul se diminuează semnificativ în replicarea cu protocolul mai strict. Studiul identifică un mecanism, nu o lege generală.

De ce contează rezultatul

Mecanismul, totuși, ridică semne de întrebare mult dincolo de laborator. În educație, el documentează scenariul de care profesorii se tem: un instrument care îmbunătățește producția imediată, dar erodează capacitatea de a produce fără el. În mediul de business, unde asistenții sunt implementați ca instrumente de formare implicită, sugerează că performanța asistată poate fi un indicator înșelător al competenței reale a echipelor. Iar pentru dezvoltatorii de asistenți, studiul pledează pentru alegeri de design încă rare: fricțiuni deliberate, moduri de învățare în care IA ghidează fără să rezolve. Întrebarea nu mai este dacă asistența ajută - ajută -, ci ce lasă în urmă atunci când este retrasă.

ST
Stephane Nachez
subscriber

Rédaction ActuIA — actualités, données et analyses sur l'intelligence artificielle pour les décideurs.