Il y a cinq mois, Meta présentait Llama (Large Language Model Meta AI), son grand modèle de langue en open source. Hier, la société a annoncé la disponibilité de Llama 2, gratuit pour la recherche et l’utilisation commerciale contrairement à la version initiale axée elle aussi sur les cas d’utilisation de recherche mais publiée sous une licence non commerciale.
“L’open source”, une démarche gagnant-gagnant
Les chercheurs disposent rarement des ressources nécessaires pour former et exécuter des grands modèles de langage, ils ne peuvent donc pas vraiment comprendre comment et pourquoi ces grands modèles linguistiques fonctionnent. Cet accès restreint entrave les efforts visant à améliorer la robustesse et à atténuer les problèmes connus des LLM, tels que les biais, la toxicité et le potentiel de générer de la désinformation.
Meta déclare dans le communiqué annonçant Llama 2 :
“En mettant les modèles d’IA à la disposition de tous, ils peuvent profiter à tout le monde. En donnant aux entreprises, aux startups, aux entrepreneurs et aux chercheurs l’accès à des outils développés à une échelle qu’il leur serait difficile de construire eux-mêmes, avec l’appui d’une puissance de calcul à laquelle ils n’auraient pas accès autrement, nous leur ouvrons un monde d’opportunités pour expérimenter, innover de manière passionnante et, en fin de compte, en tirer des avantages économiques et sociaux”.
La société ajoute :
“Nous avons été époustouflés par l’énorme demande des chercheurs pour Llama 1 – avec plus de 100 000 demandes d’accès au grand modèle de langage – et par les choses étonnantes qu’ils ont réalisées en construisant à partir de ce modèle”.
L’élargissement du partenariat Meta-Microsoft
C’est lors de Microsoft Inspire, que Meta et Microsoft ont annoncé la prise en charge de la famille Llama 2 de grands modèles de langage (LLM) sur Azure et Windows.
Meta et Microsoft sont des partenaires de longue date sur l’IA, en commençant par une collaboration pour intégrer ONNX Runtime à PyTorch, le principal framework d’IA créé aujourd’hui par Meta et la communauté de l’IA sur Azure, et le choix d’Azure comme fournisseur de cloud stratégique par Meta.
La disponibilité des modèles Llama 2 sur Azure AI permet aux développeurs de tirer parti des puissants outils d’Azure AI pour la formation de modèles, le réglage fin, l’inférence et en particulier les fonctionnalités qui prennent en charge la sécurité de l’IA.
LLama 2 a été optimisé pour fonctionner localement sur Windows, offrant aux développeurs un flux de travail transparent pour créer des expériences d’IA adaptées aux besoins de leurs clients à l’aide d’outils tels que Windows Subsystem for Linux (WSL), Windows terminal, Microsoft Visual Studio et VS Code.
Il est également disponible via Amazon Web Services (AWS), Hugging Face et d’autres fournisseurs.
Un concurrent à GPT-4 ?
Meta a utilisé 40% de données supplémentaires pour entraîner la seconde version de LLama : des données en ligne publiques mais également un ensemble de données affinées en fonction des commentaires des annotateurs humains.
Les modèles pré-entraînés de Llama 2 ont été entraînés sur 2 billions de jetons et ont une longueur de contexte double de celle de Llama 1. Les modèles chat-Llama 2 affinés ont été entraînés sur plus d’un million d’annotations humaines.
D’après Meta, Llama 2 surpasse d’autres modèles de langage open source sur de nombreux benchmarks externes, notamment en matière de raisonnement, de codage, de compétence et de tests de connaissances. Il n’atteint toutefois pas les performances de GPT-4.
Les modèles plus petits formés sur plus de jetons, en l’occurrence des morceaux de mots, sont plus faciles à recycler et à affiner pour des cas d’utilisation spécifiques
Un modèle tel que LLaMA 2, offrant davantage de personnalisation et de transparence, peut permettre aux entreprises de développer plus rapidement des produits et des services.
