Intelligence artificielle Facebook présente une méthode de deep learning pour que les modèles oublient...

Pour approfondir le sujet

Sur le même thème :

Comment le deep learning et les réseaux de neurones sont utilisés pour analyser des données de biologie marine ?

Des chercheurs québécois ont exploité l'intelligence artificielle et plus précisément le deep learning pour mieux comprendre le régime alimentaire du Fou de Bassan, un...

L’Université de Paris cherche à accélérer la recherche en cosmologie grâce aux IPU et aux réseaux de neurones

L'intelligence artificielle est de plus en plus utilisée dans l'astrophysique : récemment, plusieurs chercheurs japonais ont exploité le deep learning pour mieux observer et...

Focus sur les quatre premiers Programmes et équipements prioritaires de recherche (PEPR) exploratoires

Les premiers Programmes et équipements prioritaires de recherche (PEPR) ont été dévoilés il y a quelques jours. Retenus dans le cadre de la première...

Grâce au ML, des chercheurs ont découvert qu’un fort taux de glycémie favorise les formes graves du Covid

L'École Polytechnique fédérale de Lausanne (EPFL) est à l'origine, dans le cadre du Blue Brain Project, d'une initiative qui vise à combattre le Covid-19....

Facebook présente une méthode de deep learning pour que les modèles oublient certaines informations

Le machine learning et le deep learning sont deux des techniques les plus utilisées pour entraîner les modèles d’intelligence artificielle et les utiliser dans les tâches à réaliser. Cependant, faire en sorte qu’ils oublient certaines données apprises est quelque chose de beaucoup plus complexe. C’est en partant de ce constat que Facebook a conçu un système permettant aux modèles d’IA d’oublier certaines informations.

Réussir à faire oublier des données à un modèle d’intelligence artificielle

Chaque jour, notre cerveau est inondé d’un flux constant d’informations dont la plupart sera oubliée le soir même. La capacité d’oublier des détails du quotidien est quelque chose d’acquis afin de laisser place aux souvenirs qui nous sont chers ou aux éléments qui nous serviront plus tard.

Contrairement à la mémoire humaine, les réseaux de neurones artificiels traitent les informations sans discernement : toutes sont prises en compte. À petite échelle, cela ne comporte pas d’inconvénients, le système gère l’information superflue et prend celle qui l’intéresse. Mais aujourd’hui, les mécanismes deviennent de plus en plus élaborés, et reçoivent des quantités de données très importantes, ce qui suppose des phases de calcul de plus en plus longues.

Pour éviter de faire surchauffer les machines et parvenir à faire “oublier” certaines données aux modèles d’IA, Facebook a développé une nouvelle méthode de deep learning baptisée Expire-Span.

Une méthode de deep learning pour oublier

L’objectif d’Expire-Span est de faire en sorte que les modèles d’IA puissent oublier certaines informations. En oubliant, l’intelligence artificielle sera en mesure de retenir davantage d’informations intéressantes afin de mieux fonctionner, car elle sera capable de s’attarder sur les éléments les plus importants. La méthode donne aux réseaux de neurones la capacité d’oublier à grande échelle.

L’outil fonctionne en prédisant les informations les plus pertinentes à conserver dans l’optique de la réalisation d’une tâche spécifique. Ensuite, en fonction du contexte, Expire-Span attribue une date d’expiration à chaque information. Lorsque cette limite est passée, les données sont “oubliées” progressivement. Avec plus de mémoire disponible, les systèmes d’IA peuvent traiter les données à plus grande échelle.

Pour donner un exemple, imaginons qu’un modèle d’IA a été entrainé afin de trouver une porte jaune. La mémoire de stockage de données avant l’utilisation d’Expire-Span contient de nombreuses informations qui sont pour certaines utiles, et pour d’autres, inutiles. Après le passage d’Expire-Span, seule la donnée utile à la réalisation de la tâche est conservée.

fonctionnement méthode deep learning facebook oubli informations inutiles

Cette méthode permettra, selon Facebook, d’améliorer l’efficacité du modèle à réaliser plusieurs actions dans la modélisation du langage, l’apprentissage par renforcement, la collision d’objets ou les tâches algorithmiques.

L’atout d’Expire-Span : un oubli progressif des données

Quand on souhaite faire oublier des informations à une IA, on est très souvent confronté à un double choix sans la possibilité de faire un choix intermédiaire : soit l’information est conservée, soit elle est oubliée. L’un des objectifs d’Expire-Span est de faire en sorte que les systèmes puissent oublier progressivement les informations non pertinentes tout en optimisant en permanence ces opérations discrètes. Cet oubli progressif fait penser à la manière dont le cerveau humain oublie progressivement des souvenirs qu’il souhaite faire disparaître de sa mémoire.

Prenons un exemple : imaginons un réseau de neurones artificiels contenant une série chronologique de mots, d’images ou de vidéos. Pour chacune de ces informations, Expire-Span calcule sa valeur d’expiration, ce qui détermine la durée pendant laquelle la donnée sera conservée en mémoire. Cette dégradation progressive de certaines informations est essentielle pour conserver les informations importantes sans les brouiller.

Bien que la méthode est actuellement en phase de recherche, Facebook évoque la possibilité qu’Expire-Span puisse être utilisée dans les applications du monde réel qui nécessite un oubli d’informations non essentielles. Dans le cadre de leur prochaine étape de recherche vers des systèmes d’intelligence artificielle s’inspirant de l’être humain, la firme de Mark Zuckerberg souhaite étudier comment incorporer différents types de souvenirs dans les réseaux de neurones artificiels.

 
Zacharie Tazrout

Partager l'article

La France et l’Allemagne débloquent 17,5 millions d’euros pour financer les cinq projets lauréats de leur APP commun

Dans le cadre de la Présidence française du Conseil de l’Union européenne, la Direction générale des Entreprises (DGE) organise, avec le soutien du Hub...

La start-up marseillaise Telaqua annonce une levée de fonds de 4 millions d’euros

Telaqua, startup marseillaise spécialisée dans la gestion des systèmes d’irrigation agricoles et viticoles, a annoncé le 11 mai dernier une levée de fonds de...

L’accélérateur de start-ups Future4care inaugure officiellement ses locaux et sa plateforme numérique

Le 10 juin 2021, Sanofi, Capgemini, Generali et Orange annonçaient la création de Future4care qui a pour ambition d’accélérer le développement de solutions européennes...

Hewlett Packard Enterprise annonce la construction de sa première usine dédiée au HPC et à l’IA en Europe

Hewlett Packard Enterprise (HPE) a annoncé, le 18 mai, la construction de sa première usine en Europe destinée à soutenir le développement de supercalculateurs...
Recevoir une notification en cas d'actualité importante    OK Non merci