Gérer la pléthore d'informations scientifiques
La surcharge d’information est un obstacle majeur au progrès scientifique. Les chercheurs sont ainsi ensevelis sous une masse d’articles, ont du mal à retrouver les informations utiles à leurs recherches. Galactica est un modèle de langage à grande échelle (LLM) formé sur plus de 48 millions d’articles, de manuels, de documents de référence, de composés, de protéines et d’autres sources de connaissances scientifiques. Il peut être utilisé par les chercheurs universitaires pour explorer la littérature, poser des questions scientifiques, écrire du code scientifique...Le dataset
L’ensemble de données utilisé a été créé en tokenisant des informations provenant de diverses sources scientifiques. Pour l’interface, l'équipe a utilisé des jetons spécifiques à la tâche pour soutenir différents types de connaissances. Elle a traité les citations avec un jeton spécial, ce qui permet à un chercheur de prédire une citation en fonction de n’importe quel contexte d’entrée. Le raisonnement étape par étape a été enveloppé lui aussi dans un jeton spécial, qui imite un mémoire de travail interne.Les résultats
Galactica a obtenu de très bons résultats dans de nombreux domaines scientifiques. Lors des tests de connaissances techniques telles que les équations LaTeX, Galactica a surpassé le dernier GPT-3 de 68,2% contre 49,0%. Il a également démontré de bonnes performances pour le raisonnement, surpassant Chinchilla sur MMLU mathématique avec un score de 41,3% contre 35,7%, et PaLM 540B sur MATH avec 20,4% contre 8,8%. Il définit également un nouvel état de l’art sur les tâches en aval telles que PubMedQA et MedMCQA de 77,6% et 52,9%. Et bien qu’il n’ait pas été formé sur un corpus général, Galactica surpasse BLOOM et OPT-175B sur BIG-bench. Pour les chercheurs, ces résultats démontrent le potentiel des modèles de langage en tant que nouvelle interface pour la science. Ils ont publié le modèle en open source au profit de la communauté scientifique.La polémique
Sur le site Galactica, il est rappelé qu'il n’y a aucune garantie de sortie véridique ou fiable des modèles linguistiques, et qu'avant de suivre leurs conseils, il importe de mener des vérifications: "Certains des textes générés par Galactica peuvent sembler très authentiques et très confiants, mais peuvent être subtilement faux à bien des égards. C’est particulièrement le cas pour les contenus hautement techniques." Galactica doit être considéré comme un outil d'aide à la rédaction, comme l'a fait remarquer Yann Le Cun sur Twitter :« Cet outil est à l’écriture sur papier ce que l’assistance à la conduite est à la conduite. Il n’écrira pas automatiquement des articles pour vous, mais il réduira considérablement votre charge cognitive pendant que vous les écrivez ».Gary Marcus, scientifique expert en IA, Michael Black, Directeur de l’Institut Max Planck ont cependant réagi sur Twitter et ont alerté sur le fait que de fausses informations générées par Galactica puissent être reprises lors de soumissions scientifiques et induisent en erreur. Meta AI et Papers with Code n’ont pas encore commenté, mais ils ont désactivé la fonction de démonstration du site Galactica. Sources de l'article : "Galactica: A Large Language Model for Science" arXiv:2211.09085v1,16 Nov 2022 Auteurs: Ross Taylor, Marcin Kardas, Guillem Cucurull, Thomas Scialom, Anthony Hartshorn, Elvis Saravia, Andrew Poulton, Viktor Kerkez, Robert Stojnic. Meta AI
Nos articles remonteront en priorité dans « À la une » de Google.