Katastroficzne zapominanie to zjawisko obserwowane w sieciach neuronowych i systemach głębokiego uczenia, w którym nauka nowych informacji prowadzi do nagłej lub poważnej utraty wcześniej zdobytej wiedzy. Ograniczenie to występuje głównie podczas sekwencyjnego trenowania na wielu zadaniach: sieć dostosowuje parametry do nowego zadania, tracąc wydajność na wcześniejszych. Katastroficzne zapominanie odróżnia sztuczną inteligencję od ludzkiego uczenia się, które pozwala na gromadzenie kompetencji bez ich nadpisywania. Zjawisko to stanowi podstawowe wyzwanie dla uczenia ciągłego i adaptacyjnej AI.
Przykłady użycia i zastosowania
Katastroficzne zapominanie pojawia się podczas aktualizacji modeli na niestacjonarnych strumieniach danych, adaptacji do nowych domen czy uczenia wielozadaniowego. Przykładowo, asystent głosowy uczący się nowych języków może zapomnieć te wcześniej nauczone. Problemy te dotykają także systemów rekomendacyjnych lub wykrywających oszustwa, gdy zmieniają się schematy zachowań.
Główne narzędzia, biblioteki i frameworki
Do testowania strategii ograniczających katastroficzne zapominanie wykorzystuje się frameworki takie jak PyTorch i TensorFlow oraz wyspecjalizowane biblioteki: Avalanche, Continuum czy sequoia. Umożliwiają one wdrażanie technik jak Elastic Weight Consolidation (EWC), Learning without Forgetting (LwF) czy regularizacja oparta o pamięć.
Najnowsze trendy i rozwój
Obecne badania skupiają się na architekturach umożliwiających naprawdę ciągłe uczenie, inspirowanych pracą ludzkiego mózgu. Rośnie zainteresowanie metodami hybrydowymi, łączącymi zewnętrzną pamięć, dynamiczną regularyzację i transfer learning. Postępy w foundation models oraz podejściach modułowych otwierają nowe perspektywy w ograniczaniu katastroficznego zapominania w złożonych środowiskach rzeczywistych.