Facebook présente une méthode de deep learning pour que les modèles oublient certaines informations

Le machine learning et le deep learning sont deux des techniques les plus utilisées pour entraîner les modèles d'intelligence artificielle et les utiliser dans les tâches à réaliser. Cependant, faire en sorte qu'ils oublient certaines données apprises est quelque chose de beaucoup plus complexe. C'est en partant de ce constat que Facebook a conçu un système permettant aux modèles d'IA d'oublier certaines informations.

Réussir à faire oublier des données à un modèle d'intelligence artificielle

Chaque jour, notre cerveau est inondé d'un flux constant d'informations dont la plupart sera oubliée le soir même. La capacité d'oublier des détails du quotidien est quelque chose d'acquis afin de laisser place aux souvenirs qui nous sont chers ou aux éléments qui nous serviront plus tard. Contrairement à la mémoire humaine, les réseaux de neurones artificiels traitent les informations sans discernement : toutes sont prises en compte. À petite échelle, cela ne comporte pas d'inconvénients, le système gère l'information superflue et prend celle qui l'intéresse. Mais aujourd'hui, les mécanismes deviennent de plus en plus élaborés, et reçoivent des quantités de données très importantes, ce qui suppose des phases de calcul de plus en plus longues. Pour éviter de faire surchauffer les machines et parvenir à faire "oublier" certaines données aux modèles d'IA, Facebook a développé une nouvelle méthode de deep learning baptisée Expire-Span.

Une méthode de deep learning pour oublier

L'objectif d'Expire-Span est de faire en sorte que les modèles d'IA puissent oublier certaines informations. En oubliant, l'intelligence artificielle sera en mesure de retenir davantage d'informations intéressantes afin de mieux fonctionner, car elle sera capable de s'attarder sur les éléments les plus importants. La méthode donne aux réseaux de neurones la capacité d'oublier à grande échelle. L'outil fonctionne en prédisant les informations les plus pertinentes à conserver dans l'optique de la réalisation d'une tâche spécifique. Ensuite, en fonction du contexte, Expire-Span attribue une date d'expiration à chaque information. Lorsque cette limite est passée, les données sont "oubliées" progressivement. Avec plus de mémoire disponible, les systèmes d'IA peuvent traiter les données à plus grande échelle. Pour donner un exemple, imaginons qu'un modèle d'IA a été entrainé afin de trouver une porte jaune. La mémoire de stockage de données avant l'utilisation d'Expire-Span contient de nombreuses informations qui sont pour certaines utiles, et pour d'autres, inutiles. Après le passage d'Expire-Span, seule la donnée utile à la réalisation de la tâche est conservée. Cette méthode permettra, selon Facebook, d'améliorer l'efficacité du modèle à réaliser plusieurs actions dans la modélisation du langage, l'apprentissage par renforcement, la collision d'objets ou les tâches algorithmiques.

L'atout d'Expire-Span : un oubli progressif des données

Quand on souhaite faire oublier des informations à une IA, on est très souvent confronté à un double choix sans la possibilité de faire un choix intermédiaire : soit l'information est conservée, soit elle est oubliée. L'un des objectifs d'Expire-Span est de faire en sorte que les systèmes puissent oublier progressivement les informations non pertinentes tout en optimisant en permanence ces opérations discrètes. Cet oubli progressif fait penser à la manière dont le cerveau humain oublie progressivement des souvenirs qu'il souhaite faire disparaître de sa mémoire. Prenons un exemple : imaginons un réseau de neurones artificiels contenant une série chronologique de mots, d'images ou de vidéos. Pour chacune de ces informations, Expire-Span calcule sa valeur d'expiration, ce qui détermine la durée pendant laquelle la donnée sera conservée en mémoire. Cette dégradation progressive de certaines informations est essentielle pour conserver les informations importantes sans les brouiller. Bien que la méthode est actuellement en phase de recherche, Facebook évoque la possibilité qu'Expire-Span puisse être utilisée dans les applications du monde réel qui nécessite un oubli d'informations non essentielles. Dans le cadre de leur prochaine étape de recherche vers des systèmes d'intelligence artificielle s'inspirant de l'être humain, la firme de Mark Zuckerberg souhaite étudier comment incorporer différents types de souvenirs dans les réseaux de neurones artificiels.