En novembre 2022, Meta, en butte à des difficultés financières, licenciait pour la première fois de son existence et dans le cadre de ce qu’il appelle “l’année de l’efficacité”. Mark Zuckenberg, son PDG, annonçait une nouvelle vague de licenciements en mars dernier. Comme ses concurrents, la société veut se tailler une place de choix sur le marché de l’IA générative et y concentre tous ses efforts mais au détriment de la recherche fondamentale : selon le Financial Times, elle aurait dissous l’équipe Meta AI dont les travaux ont permis la création de l’Atlas métagénomique ESM.
Selon Meta, cet atlas tout comme ses modèles de langage protéique, allait permettre d’accélérer la découverte de nouveaux médicaments, d’aider à lutter contre les maladies et de développer une énergie propre.
Dès 2019, grâce à la modélisation du langage masqué, une forme d’apprentissage auto-supervisé, ses chercheurs avaient entraîné un modèle de langage sur les séquences de millions de protéines naturelles. L’année suivante, ils ont développé, ESM-1b, un modèle comptant environ 650 millions de paramètres pouvant être utilisé pour une variété d’applications, y compris pour aider les scientifiques à prédire l’évolution de la COVID-19 et à découvrir les causes génétiques de la maladie.
Les chercheurs ont étendu cette approche pour créer un modèle de langage protéique de nouvelle génération, ESM-2, qui, avec 15 milliards de paramètres, était alors le plus grand modèle de langage de protéines. Il l’ont utilisé pour construire ESMFold, un modèle d’IA permettant de prédire avec une haute précision la structure de niveau atomique de bout en bout directement à partir de la séquence individuelle d’une protéine, de 6 à 60 fois plus rapide que l’AlphaFold 2 de Google DeepMind.
Le réseau neuronal ESM-2 a permis de créer l’Atlas métagénomique ESM en prédisant 617 millions de structures à partir de la base de données de protéines MGnify90 en seulement deux semaines d’exploitation sur un cluster de 2 000 GPU. L’équipe de chercheurs l’a mis à jour en mars dernier pour porter le nombre de structures protéiques prévues de 617 millions à un total de 772 millions.
Les chercheurs ont publié leur travail en open source : les données de l’Atlas sont disponibles sous licence CC BY 4.0 pour un usage académique et commercial.
Une décision stratégique
Meta AI, pour qui le coût du maintien de l’équipe serait trop élevé dans le contexte de difficultés financières où Meta se trouve, dit se concentrer sur la construction de plateformes de pointe pour soutenir et accélérer la demande croissante de l’IA. Les chercheurs, de leur côté, auraient exprimé leur incompréhension face à ce choix.
Celui-ci reflète le défi auquel sont confrontées les entreprises technologiques : jongler entre la poursuite de résultats immédiats et la préservation de l’exploration scientifique à long terme. Cependant, le partage des travaux de l’équipe Meta AI en open source est un rappel que, même face à des contraintes financières, l’innovation peut continuer de prospérer.
