Le Technology Innovation Institute (TII) des Émirats arabes unis a dévoilé ce 6 septembre le dernier ajout à sa famille de modèles Falcon : le Falcon 180B, qui est en libre accès pour la recherche et un usage commercial.
Falcon 180B rejoint donc les LLM Falcon à paramètres 1.3B, 7.5B et 40B. Lancé en mai dernier, ce dernier est le premier LLM à grande échelle open source des Émirats arabes unis et compte donc 40 milliards de paramètres formés sur un billion de jetons. Il surpasse divers LLM open source comme LLaMA, StableLM, RedPajama et MPT. Pendant les deux mois suivant son lancement, Falcon 40B a gardé la tête du classement de Hugging Face pour les LLM open source.
Ce modèle brut et pré-entraîné doit cependant être affiné pour la plupart des cas d’utilisation, ce qu’a fait LightOn pour Alfred-40B-0723.
Le LLM Falcon 180-B
Avec 180 milliards de paramètres et un entraînement sur 3,5 billions de jetons de l’ensemble de données RefinedWeb que le Technology Innovation Institute a construit pour sa famille de LLM, le modèle Falcon 180B se hisse à la première place du classement Hugging Face pour les LLM pré-entraînés. Il surpasse des concurrents notables comme LLaMA 2 de Meta dans divers benchmarks, y compris le raisonnement, le codage, la compétence et les tests de connaissances.
Evalué par rapport aux modèles propriétaires, il se classe juste derrière GPT-4 d’OpenAI et est à égalité avec les performances du PaLM 2 Large de Google, le modèle qui alimente Bard, bien qu’il soit la moitié de la taille du modèle. Le cadre de licence du modèle est établi sur la licence TII Falcon 180B, basée sur Apache 2.0.
Le Dr Ebtesam Almazrouei, Directeur exécutif et chercheur en chef par intérim de l’unité intercentrique de l’IA chez TII, déclare:
“Le lancement du Falcon 180B illustre notre engagement à repousser les frontières de l’IA, et nous sommes ravis de partager son potentiel illimité avec le monde. Falcon 180B annonce une nouvelle ère d’IA générative, où le potentiel de progrès scientifique est rendu disponible grâce à un accès ouvert pour alimenter les innovations de demain. Alors que nous explorons les frontières de la science et de la technologie, notre vision va bien au-delà de l’innovation; Il s’agit d’entretenir un lien profond pour relever les défis mondiaux grâce à des percées collaboratives”.
