Intelligence artificielle Focus sur GOPHER, le nouveau modèle de langage naturel de DeepMind de...

Pour approfondir le sujet

Sur le même thème :

Suez et Logiroad.ai s’associent pour optimiser la collecte intelligente des déchets via des camions intelligents

À l'occasion du Salon des Maires et des Collectivités locales, Suez et Logiroad.ai ont signé un partenariat pour proposer des "camions intelligents" capables de...

« L’IA au service des territoires et des villes durables en Afrique » était au programme du second forum Afria

"L'IA au service des territoires et des villes durables en Afrique : état des lieux, défis et perspectives" était le thème du second Forum...

La société montpelliéraine ITK lève 10 millions d’euros pour une agriculture connectée

ITK, société montpelliéraine spécialisée dans l'IA appliquée à l'agriculture, a annoncé cette semaine une levée de fonds de 10 millions d’euros auprès d’EDF Pulse Holding,...

Confiance.ai et EUROCAE signent un Memorandum of Understanding

Le 6 janvier dernier, Confiance.ai a annoncé sa collaboration avec EUROCAE, leader européen dans le développement de normes industrielles mondialement reconnues pour l'aviation, ainsi...

Focus sur GOPHER, le nouveau modèle de langage naturel de DeepMind de plus de 280 milliard de paramètres

DeepMind, filiale du groupe Alphabet spécialisée en Intelligence Artificielle, a annoncé en décembre dernier avoir conçu un nouveau modèle de langage basé sur Transformer : GOPHER, qui, avec plus de 280 milliards de paramètres, va lui permettre de tester les limites des grands modèles de traitement naturel.

La modélisation du langage permet de concevoir des systèmes de communication intelligents grâce à de grands référentiels de connaissances humaines écrites. Les chercheurs de DeepMind ont réalisé une analyse des performances du modèle de langage basé sur Transformer à travers une large gamme d’échelles de modèle – des modèles avec des dizaines de millions de paramètres jusqu’à un modèle de 280 milliards de paramètres appelé Gopher. Les transformeurs ont été créés pour faire de la traduction, de la classification ou de la génération de textes mais ont pu très vite être exploités dans de nombreuses tâches de NLP (Natural Language Processing). Ils sont capables d’adapter les mots en fonction du contexte.

GOPHER, modèle de plus de 280 milliards de paramètres

Pour démontrer qu’un modèle de langage plus puissant est plus efficace du fait de sa taille, DeepMind a développé ce nouveau modèle baptisé GOPHER qui contient 280 milliards de paramètres, dépassant les 175 milliards du GPT-3 d’Open AI mais bien en deçà des 530 milliards du MT-NLG de Microsoft et Nvidia.
Gopher s’appuie sur un transformeur, un modèle de deep learning utilisé par les générateurs de texte comme le GPT-3 d’OpenAI. Les transformeurs sont formés par d’énormes réseaux pré-entraînés sur des quantités massives de texte non structuré, capturant des propriétés linguistiques utiles. Les modèles sont ensuite affinés et utilisés dans de multiples cas : la traduction automatique, la synthèse de texte, saisie de texte… Le mécanisme d’attention leur permet, contrairement aux réseaux de neurones récurrents utilisés auparavant, de traiter les mots indépendamment de l’ordre où ils ont été écrits, de traiter les informations de manière différente et de les adapter en fonction du contexte.

Les chercheurs de DeepMind ont donc évalué des modèles de taille différente sur 152 tâches diverses, atteignant des performances de pointe dans la majorité des cas. Les gains d’échelle sont les plus importants dans des domaines tels que la compréhension de la lecture, la vérification des faits et l’identification d’un langage toxique, mais le raisonnement logique et mathématique ne sont pas probants.

Problèmes environnementaux et éthiques

Les très grands modèles de langage sont d’une part très énergivores : ils consomment des quantités massives de calcul et génèrent des quantités croissantes de dioxyde de carbone. D’autre part, la reproduction de biais dans la génération des chaînes de texte produites par les modèles pose un réel problème d’éthique. Pour DeepMind, “d’autres défis de la génération de texte par l’IA requièrent, selon eux, une solution qui va au-delà des données et des calculs. Cela inclut la production de résultats stéréotypés ou la  génération de faux contenus”. Dans ces cas de figure, DeepMind suggère l’adoption de routines de formations supplémentaires, notamment le retour d’informations des utilisateurs humains.

 
Marie-Claude Benoit

Partager l'article

Etude du Centre Hubertine Auclert sur « Les freins à l’accès des filles aux filières informatiques et numériques »

De nombreuses études sont menées tout au long de la scolarité des élèves, certaines se rapportent à la réussite scolaire des filles et leurs...

Le Conseil de l’UE invite les Etats Membres à poursuivre leurs efforts dans la lutte contre le terrorisme

Début juin, le Conseil de l'UE a adopté des conclusions sur les actions accomplies et les prochaines étapes à franchir pour assurer la protection...

Village by CA Paris dévoile les duos lauréats des « Village Awards 2022 »

Le 30 juin dernier, le Village by CA Paris a organisé la cinquième édition des Village Awards en collaboration avec Les Echos Entrepreneurs et...

Focus sur les recommandations de la CNCDH visant à promouvoir un encadrement juridique ambitieux de l’IA

Le 21 avril 2021, la Commission Européenne présentait son projet de réglementation de l'IA. Plus récemment, en décembre dernier, la Slovénie qui assurait alors...
Recevoir une notification en cas d'actualité importante    OK Non merci