Une réponse aux besoins des organisations
Composé d'une quinzaine de membres, le groupe de travail IA Générative s’est réuni chaque semaine pendant plusieurs mois pour préparer ce guide. Leur objectif : fournir aux organisations un outil complet pour naviguer dans le paysage complexe des LLM. Ce travail fait suite à un livrable précédent publié en février 2024, qui portait sur les usages des IA génératives. Pour élaborer ce guide, le groupe a mené une enquête approfondie auprès des organisations afin de comprendre leurs critères de choix les plus importants. Les résultats de cette enquête constituent la première partie du document.Comment choisir son LLM ?
Le guide est structuré en cinq parties principales :- Résultats de l'enquête : Cette section présente la méthodologie et les résultats de l’enquête menée auprès des organisations, identifiant les critères cruciaux pour le choix des modèles d’IA.
- Cartographie des benchmarks : Le document offre une vue d'ensemble des benchmarks de référence qui peuvent être utilisés pour tester la performance des différents modèles de LLM.
- Grille d'évaluation des modèles : Basée sur les critères identifiés par l’enquête, cette grille permet d’évaluer les modèles selon divers aspects tels que la sécurité des données, la conformité légale, les infrastructures, le business model, l’accompagnement des clients et les considérations écologiques.
- Échanges avec les fournisseurs : Cette partie restitue les échanges avec les principaux fournisseurs de LLM, structurés selon la grille d'évaluation, offrant ainsi une perspective pratique sur l’application des critères de choix.
- Analyse détaillée des résultats : Le guide partage une analyse approfondie des résultats pour chaque fournisseur, aidant les organisations à prendre des décisions éclairées.
Principaux enseignements
Le guide met en lumière plusieurs enseignements clés :- Critères de choix multiples : La performance d’un modèle ne doit pas être le seul critère de sélection. La sécurité des données, le respect des réglementations, l’adaptation aux infrastructures existantes et le coût sont également essentiels ;
- Importance des benchmarks : Bien que les benchmarks soient utiles, ils doivent être complétés par des interactions directes avec les fournisseurs de modèles ;
- Absence de fournisseur parfait : Aucun fournisseur ne se distingue comme étant le meilleur dans tous les aspects.
- Définir les cas d’usage spécifiques ;
- Lister les critères de choix pertinents pour ces cas d’usage ;
- Consulter les benchmarks appropriés ;
- Affiner l’analyse en se référant aux critères spécifiques.
Nos articles remonteront en priorité dans « À la une » de Google.