L’oubli catastrophique est un phénomène observé dans les réseaux de neurones et les systèmes d’apprentissage profond, où l’apprentissage de nouvelles informations entraîne une perte soudaine ou sévère des connaissances précédemment acquises. Cette limitation se manifeste principalement lors de l’entraînement séquentiel sur plusieurs tâches : le réseau adapte ses paramètres pour optimiser la nouvelle tâche, au détriment des performances sur les tâches antérieures. L’oubli catastrophique distingue l’intelligence artificielle de l’apprentissage humain, qui est naturellement capable d’accumuler des compétences sans les effacer. Ce phénomène révèle ainsi un défi fondamental pour l’apprentissage continu et l’intelligence artificielle adaptative.
Cas d’usages et exemples d’utilisation
L’oubli catastrophique apparaît lors de la mise à jour de modèles sur des flux de données non stationnaires, dans l’adaptation à de nouveaux domaines ou lors de l’apprentissage multitâche. Par exemple, un assistant vocal entraîné à reconnaître différentes langues risque d’oublier les langues précédentes lorsqu’il apprend une nouvelle. Les systèmes de recommandation ou de détection de fraudes, confrontés à des comportements changeants, peuvent également souffrir de ce phénomène.
Principaux outils logiciels, librairies, frameworks, logiciels
Plusieurs frameworks permettent d’expérimenter des stratégies pour atténuer l’oubli catastrophique, notamment PyTorch et TensorFlow, en combinaison avec des bibliothèques spécialisées comme Avalanche, Continuum ou sequoia. Ces outils facilitent la mise en œuvre de techniques telles que Elastic Weight Consolidation (EWC), Learning without Forgetting (LwF) ou la régularisation basée sur la mémoire.
Derniers développements, évolutions et tendances
Les recherches récentes s’orientent vers des architectures permettant un apprentissage vraiment continu, inspiré du fonctionnement cérébral humain. On observe l’essor de méthodes hybrides combinant mémoire externe, régularisation dynamique et apprentissage par transfert. Les avancées dans les modèles de fondation (foundation models) et les approches modulaires ouvrent également de nouvelles perspectives pour limiter l’oubli catastrophique dans des environnements réels et complexes.
