Katastrophales Vergessen ist ein Phänomen in neuronalen Netzen und Deep-Learning-Systemen, bei dem das Erlernen neuer Informationen zu einem plötzlichen oder gravierenden Verlust zuvor erworbenen Wissens führt. Diese Einschränkung tritt insbesondere beim sequentiellen Training auf mehreren Aufgaben auf: Das Netzwerk passt seine Parameter für die neue Aufgabe an und verschlechtert dabei oft die Leistung bei älteren Aufgaben. Katastrophales Vergessen unterscheidet künstliche Intelligenz vom menschlichen Lernen, das Wissen meist ohne Löschen ansammelt. Das Phänomen stellt daher eine zentrale Herausforderung für kontinuierliches Lernen und adaptive KI dar.
Anwendungsfälle und Beispiele
Katastrophales Vergessen tritt auf, wenn Modelle auf nicht-stationären Datenströmen aktualisiert, an neue Domänen angepasst oder für mehrere Aufgaben trainiert werden. Ein Sprachassistent, der neue Sprachen lernt, könnte beispielsweise bereits erlernte Sprachen vergessen. Empfehlungs- oder Betrugserkennungssysteme können bei sich änderndem Nutzerverhalten ebenfalls betroffen sein.
Wichtige Softwaretools, Bibliotheken und Frameworks
Frameworks wie PyTorch und TensorFlow ermöglichen zusammen mit Spezialbibliotheken wie Avalanche, Continuum oder sequoia Experimente zur Minderung des katastrophalen Vergessens. Sie unterstützen Techniken wie Elastic Weight Consolidation (EWC), Learning without Forgetting (LwF) oder speicherbasierte Regularisierung.
Neueste Entwicklungen und Trends
Aktuelle Forschung konzentriert sich auf kontinuierliches Lernen nach Vorbild des menschlichen Gehirns. Hybride Methoden mit externer Speicherung, dynamischer Regularisierung und Transferlernen gewinnen an Bedeutung. Fortschritte bei Foundation Models und modularen Ansätzen eröffnen neue Möglichkeiten zur Begrenzung des katastrophalen Vergessens in realen Anwendungsfällen.