Catastrofale vergetelheid is een fenomeen in neurale netwerken en deep learning-systemen waarbij het leren van nieuwe informatie leidt tot een plotseling of ernstig verlies van eerder verworven kennis. Dit probleem doet zich vooral voor tijdens sequentiële training op meerdere taken: het netwerk past zijn parameters aan voor de nieuwe taak, ten koste van prestaties op oudere taken. Catastrofale vergetelheid onderscheidt kunstmatige intelligentie van menselijk leren, dat competenties kan stapelen zonder ze te overschrijven. Het fenomeen vormt een fundamentele uitdaging voor continu leren en adaptieve AI.
Toepassingen en gebruiksvoorbeelden
Catastrofale vergetelheid doet zich voor bij het updaten van modellen op niet-stationaire datastromen, het aanpassen aan nieuwe domeinen of bij multitask-leren. Bijvoorbeeld: een spraakassistent die nieuwe talen leert, kan eerdere talen vergeten. Ook aanbevelingssystemen of fraudedetectie die te maken krijgen met veranderend gedrag, zijn gevoelig voor dit probleem.
Belangrijkste softwaretools, libraries en frameworks
Frameworks zoals PyTorch en TensorFlow, samen met gespecialiseerde libraries als Avalanche, Continuum en sequoia, ondersteunen experimenten om catastrofale vergetelheid te beperken. Deze tools maken technieken als Elastic Weight Consolidation (EWC), Learning without Forgetting (LwF) en geheugen-gebaseerde regularisatie mogelijk.
Recente ontwikkelingen en trends
Recente onderzoeken richten zich op architecturen voor echt continu leren, geïnspireerd door het menselijk brein. Hybride methoden die externe geheugen, dynamische regularisatie en transfer learning combineren zijn in opkomst. Vooruitgang in foundation models en modulaire benaderingen bieden nieuwe perspectieven om catastrofale vergetelheid in complexe, realistische omgevingen te beperken.