Lors de sa conférence annuelle DASH, Datadog, une entreprise basée à New York spécialisée dans l’observabilité cloud pour les applications et l’infrastructure d’entreprise, a annoncé Bits, un nouvel assistant d’IA générative pour aider les développeurs et les ingénieurs ML à résoudre les problèmes d’application en temps réel, ainsi qu’une solution de bout en bout pour surveiller le comportement des grands modèles de langage : “Datadog LLM Observability”.
L’évènement DASH a été également l’occasion pour Datadog de présenter les dernières intégrations d’IA à sa plateforme permettant une supervision de chaque couche de la pile technologique nécessaire à l’entraînement et à l’inférence des LLM.
L’observabilité des LLM
Il est aujourd’hui facile de mettre en œuvre des applications basées sur des LLM. Cependant, un défi majeur subsiste : obtenir une visibilité suffisante sur les LLM sous-jacents. Les développeurs d’applications et les ingénieurs en apprentissage automatique ont souvent un contrôle et un aperçu limités du fonctionnement de ces modèles préentraînés. Ces lacunes peuvent induire une performance insatisfaisante du modèle, voire des inexactitudes dues à des hallucinations, ce qui peut être préjudiciable pour les entreprises.
“Datadog LLM Observability” vise à résoudre ces problèmes. La solution propose une approche proactive en fournissant une surveillance en temps réel des LLM. Elle permet d’identifier les clusters problématiques, de détecter toute dérive du modèle et d’analyser les caractéristiques spécifiques des requêtes et des réponses qui peuvent influencer ses performances. Elle offre ainsi aux équipes une vue claire de ce qui se passe à l’intérieur des LLM et leur permet d’apporter des ajustements précis pour optimiser leur fonctionnement.
Il est d’ores et déjà possible de demander l’accès à LLM Observability en version bêta privée.
BITS AI, l’assistant d’IA générative
Lorsqu’elles doivent surveiller des applications et une infrastructure, les équipes sont souvent confrontées à une multitude de tâches, allant de la détection et de l’analyse d’un problème à sa résolution et à sa prévention. Même avec l’utilisation d’outils d’observabilité, ce processus nécessite de trier à travers d’énormes volumes de données, de documentation et de conversations provenant de systèmes différents.
Bits AI, le copilote DevOps, aide à enquêter et à répondre plus efficacement aux incidents via l’application Web, l’application mobile et Slack de Datadog. Il fournit une interface conversationnelle pour interroger les données des produits Datadog tels que l’APM, la gestion des journaux, celle des coûts dans le cloud, la surveillance des utilisateurs réels, et fournit des informations clés telles que les déploiements défectueux, les anomalies de journal et de traçage détectées par Watchdog, les signaux de sécurité, le tout en un seul endroit.
Grâce à l’IA générative, il identifie et suggère des correctifs pour les problèmes au niveau du code, génère des tests synthétiques pour améliorer de manière proactive l’expérience utilisateur, trouve et déclenche des workflows pour résoudre automatiquement les problèmes critiques.
Bits AI est disponible en version bêta privée. Pour vous inscrire, remplissez ce formulaire.
Références : blog DASH 2023
