Intelligence artificielle Facebook présente une méthode de deep learning pour que les modèles oublient...

Pour approfondir le sujet

Sur le même thème :

Comment le deep learning et les réseaux de neurones sont utilisés pour analyser des données de biologie marine ?

Des chercheurs québécois ont exploité l'intelligence artificielle et plus précisément le deep learning pour mieux comprendre le régime alimentaire du Fou de Bassan, un...

L’Université de Paris cherche à accélérer la recherche en cosmologie grâce aux IPU et aux réseaux de neurones

L'intelligence artificielle est de plus en plus utilisée dans l'astrophysique : récemment, plusieurs chercheurs japonais ont exploité le deep learning pour mieux observer et...

Focus sur les quatre premiers Programmes et équipements prioritaires de recherche (PEPR) exploratoires

Les premiers Programmes et équipements prioritaires de recherche (PEPR) ont été dévoilés il y a quelques jours. Retenus dans le cadre de la première...

Grâce au ML, des chercheurs ont découvert qu’un fort taux de glycémie favorise les formes graves du Covid

L'École Polytechnique fédérale de Lausanne (EPFL) est à l'origine, dans le cadre du Blue Brain Project, d'une initiative qui vise à combattre le Covid-19....

Facebook présente une méthode de deep learning pour que les modèles oublient certaines informations

Le machine learning et le deep learning sont deux des techniques les plus utilisées pour entraîner les modèles d’intelligence artificielle et les utiliser dans les tâches à réaliser. Cependant, faire en sorte qu’ils oublient certaines données apprises est quelque chose de beaucoup plus complexe. C’est en partant de ce constat que Facebook a conçu un système permettant aux modèles d’IA d’oublier certaines informations.

Réussir à faire oublier des données à un modèle d’intelligence artificielle

Chaque jour, notre cerveau est inondé d’un flux constant d’informations dont la plupart sera oubliée le soir même. La capacité d’oublier des détails du quotidien est quelque chose d’acquis afin de laisser place aux souvenirs qui nous sont chers ou aux éléments qui nous serviront plus tard.

Contrairement à la mémoire humaine, les réseaux de neurones artificiels traitent les informations sans discernement : toutes sont prises en compte. À petite échelle, cela ne comporte pas d’inconvénients, le système gère l’information superflue et prend celle qui l’intéresse. Mais aujourd’hui, les mécanismes deviennent de plus en plus élaborés, et reçoivent des quantités de données très importantes, ce qui suppose des phases de calcul de plus en plus longues.

Pour éviter de faire surchauffer les machines et parvenir à faire “oublier” certaines données aux modèles d’IA, Facebook a développé une nouvelle méthode de deep learning baptisée Expire-Span.

Une méthode de deep learning pour oublier

L’objectif d’Expire-Span est de faire en sorte que les modèles d’IA puissent oublier certaines informations. En oubliant, l’intelligence artificielle sera en mesure de retenir davantage d’informations intéressantes afin de mieux fonctionner, car elle sera capable de s’attarder sur les éléments les plus importants. La méthode donne aux réseaux de neurones la capacité d’oublier à grande échelle.

L’outil fonctionne en prédisant les informations les plus pertinentes à conserver dans l’optique de la réalisation d’une tâche spécifique. Ensuite, en fonction du contexte, Expire-Span attribue une date d’expiration à chaque information. Lorsque cette limite est passée, les données sont “oubliées” progressivement. Avec plus de mémoire disponible, les systèmes d’IA peuvent traiter les données à plus grande échelle.

Pour donner un exemple, imaginons qu’un modèle d’IA a été entrainé afin de trouver une porte jaune. La mémoire de stockage de données avant l’utilisation d’Expire-Span contient de nombreuses informations qui sont pour certaines utiles, et pour d’autres, inutiles. Après le passage d’Expire-Span, seule la donnée utile à la réalisation de la tâche est conservée.

fonctionnement méthode deep learning facebook oubli informations inutiles

Cette méthode permettra, selon Facebook, d’améliorer l’efficacité du modèle à réaliser plusieurs actions dans la modélisation du langage, l’apprentissage par renforcement, la collision d’objets ou les tâches algorithmiques.

L’atout d’Expire-Span : un oubli progressif des données

Quand on souhaite faire oublier des informations à une IA, on est très souvent confronté à un double choix sans la possibilité de faire un choix intermédiaire : soit l’information est conservée, soit elle est oubliée. L’un des objectifs d’Expire-Span est de faire en sorte que les systèmes puissent oublier progressivement les informations non pertinentes tout en optimisant en permanence ces opérations discrètes. Cet oubli progressif fait penser à la manière dont le cerveau humain oublie progressivement des souvenirs qu’il souhaite faire disparaître de sa mémoire.

Prenons un exemple : imaginons un réseau de neurones artificiels contenant une série chronologique de mots, d’images ou de vidéos. Pour chacune de ces informations, Expire-Span calcule sa valeur d’expiration, ce qui détermine la durée pendant laquelle la donnée sera conservée en mémoire. Cette dégradation progressive de certaines informations est essentielle pour conserver les informations importantes sans les brouiller.

Bien que la méthode est actuellement en phase de recherche, Facebook évoque la possibilité qu’Expire-Span puisse être utilisée dans les applications du monde réel qui nécessite un oubli d’informations non essentielles. Dans le cadre de leur prochaine étape de recherche vers des systèmes d’intelligence artificielle s’inspirant de l’être humain, la firme de Mark Zuckerberg souhaite étudier comment incorporer différents types de souvenirs dans les réseaux de neurones artificiels.


1ère Marketplace de l'IA et de la transformation numérique vous recommande :
 
Zacharie Tazrout

Partager l'article

Rendez-vous du 17 au 19 novembre 2021 pour la 4ème édition du Soph.I.A. Summit

Cette année, le Soph.I.A. Summit se tiendra du 17 au 19 novembre 2021. Organisé par Université Côte d’Azur, la Communauté d’Agglomération de Sophia Antipolis et...

France Num publie le 1er Baromètre sur la transformation numérique des TPE/PME réalisé par le CREDOC

France Num, initiative pilotée par la Direction Générale des entreprises (DGE) a remis à Alain Griset, ministre délégué chargé des petites et moyennes entreprises,...

Retour sur l’adoption de la première stratégie de l’OTAN en matière d’Intelligence Artificielle

Les 30 pays de l'OTAN ont pour objectif de garantir la liberté et la sécurité aux membres de leur alliance. Créé en 1949, l'OTAN...

Changement climatique : Mila permet de vivre l’expérience de catastrophes naturelles pour sensibiliser l’opinion

Ces dernières années, les catastrophes naturelles semblent s'amplifier et se succéder à un rythme exponentiel. Que ce soient les incendies dévastateurs comme en Californie,...