Le 14 mars dernier, Anthropic ouvrait l’accès à Claude, son assistant d’IA. La start-up cofondée par les frère et sœur Daniela et Dario Amodei a annoncé ce 11 juillet Claude 2, accessible via une API et un nouveau site Web bêta public, claude.ai.
Les améliorations apportées à Claude 2 concernent notamment le codage, les mathématiques et le raisonnement. Par exemple, Claude 2 a obtenu une note de 76,5 % dans la section à choix multiples de l’examen du Barreau, ce qui est supérieur au score de 73,0 % obtenu par Claude 1.3. Il a également obtenu des résultats supérieurs au 90e percentile aux examens de lecture et d’écriture GRE, et des résultats similaires à la médiane des candidats pour le raisonnement quantitatif.
Claude 2 peut également résoudre plus de problèmes mathématiques, obtenant un score de 88% sur la collection GSM8K de problèmes de niveau primaire, contre 85,2 pour Claude 1.3.
Des invites et des réponses beaucoup plus longues
Les utilisateurs peuvent saisir jusqu’à 100 K jetons dans chaque invite (environ 75 000 mots), Claude peut ainsi travailler sur des centaines de pages de documentation technique ou même sur un livre. Il peut également générer des textes plus longs (jusqu’à quelques milliers de jetons), le tout en une seule fois.
L’IA constitutionnelle pour un chatbot plus éthique
L’IA constitutionnelle, développée par la start-up Anthropic, est une approche d’entraînement des modèles de langage visant à inculquer des valeurs et des principes spécifiques dans le système d’IA. Claude est ainsi guidé par un ensemble de principes comme ceux de la Déclaration des droits de l’Homme pour générer des réponses plus honnêtes et alignées sur des valeurs éthiques.
Lorsqu’il est confronté à des requêtes nuisibles, le chatbot explique pourquoi il ne peut pas y répondre ou pourquoi elles sont inappropriées.
Des évaluations internes ont été réalisées sur un large ensemble d’invites nuisibles, et Claude 2 s’est révélé deux fois plus apte que Claude 1.3 à fournir des réponses inoffensives.
La société avertit toutefois :
“Notre expérience de chat est un lancement bêta ouvert, et les utilisateurs doivent être conscients que Claude – comme tous les modèles actuels – peut générer des réponses inappropriées. Les assistants d’IA sont particulièrement utiles dans les situations quotidiennes, comme servir à résumer ou à organiser des informations, et ne devraient pas être utilisés lorsque la santé physique ou mentale et le bien-être sont en jeu”.
Claude 2 est disponible aux États-Unis et au Royaume-Uni, Anthropic travaille à son déploiement à l’échelle mondiale dans les mois à venir. Il est accessible aux utilisateurs via une expérience de chat bêta ouverte et une API destinée aux entreprises proposée au même prix que Claude 1.3.
Des entreprises partenaires, telles que Jasper et Sourcegraph, utilisent déjà l’API Claude dans leurs produits pour des cas d’utilisation variés, tels que la génération de contenu et l’assistance au codage.
