Gemini 3 Pro a passé les 89 tâches de Terminal-Bench 2.1, un test d'agents d'IA en ligne de commande, dans deux agents. Conduit par Gemini CLI, l'agent que Google publie pour ses propres modèles, il en a réussi 65,8 %. Conduit par Terminus 2, un programme minimal écrit par les auteurs du test pour comparer les modèles et doté d'un seul outil, un terminal, il est monté à 73,9 %. Le classement de Terminal-Bench 2.1, archivé depuis par Snorkel AI, qui l'héberge, sépare ces deux lignes de 8,1 points, bien au-delà de la variation d'une exécution à l'autre qu'il affiche, de 1,3 et 1,4 point. Le modèle est le même. Ce qui a changé s'appelle le harnais.
Le mot désigne tout ce qui entoure le modèle pour en faire un agent qui travaille, « la boucle qui appelle Claude et achemine ses appels d'outils vers l'infrastructure concernée », écrit Anthropic dans un billet d'ingénierie du 8 avril 2026. Ce composant se vend désormais seul : le Claude Agent SDK livre « les mêmes outils, la même boucle d'agent et la même gestion du contexte que Claude Code », et Anthropic loue un harnais hébergé, Managed Agents. À modèle égal, ce produit change le score, la facture et le risque.
Sept composants entre le modèle et la machine
Un modèle de langage seul produit du texte. Le harnais y repère les appels d'outils, les exécute, renvoie les résultats et recommence jusqu'à ce que la tâche soit finie ou abandonnée.
| Composant | À quoi il sert |
|---|---|
| Boucle d'exécution | Appeler le modèle, exécuter ses appels d'outils, décider quand s'arrêter |
| Consignes système | Fixer le rôle, les règles et la méthode |
| Outils et permissions | Définir ce que l'agent peut faire, et ce qui exige un accord humain |
| Gestion du contexte | Choisir ce qui reste dans la fenêtre du modèle : compaction, mémoire, fichiers de progression |
| Sous-agents | Traiter une sous-tâche dans un contexte vierge et n'en rapporter qu'un résumé |
| Vérification | Tester le travail avant de rendre la main |
| Bac à sable | Borner les fichiers accessibles et les serveurs joignables |
Anthropic disait dès le 19 décembre 2024, dans « Building effective agents », avoir « passé plus de temps à optimiser [ses] outils que la consigne d'ensemble » de son agent pour SWE-bench. Sur les tâches longues, « la compaction ne suffit pas », ajoute Justin Young, d'Anthropic, dans « Effective harnesses for long-running agents », le 26 novembre 2025. Son harnais fait tenir un journal d'avancement et consigner chaque session dans git, d'où la suivante repart.
Huit points pour Gemini 3 Pro, 13,7 pour GPT-5.2-Codex
Terminal-Bench 2.1 a fait passer cinq modèles dans le harnais de leur éditeur et dans Terminus 2, sans préciser les réglages de chaque soumission. Le harnais maison l'emporte de 5,1 points pour GPT-5.5 dans Codex CLI, de 3,4 points pour Claude Fable 5 dans Claude Code et de 2,8 points pour Claude Opus 4.7, à la limite de la marge d'erreur. Il perd 8,1 points avec Gemini 3 Pro et fait jeu égal avec Gemini 3.1 Pro. L'éditeur n'a donc pas toujours le meilleur harnais pour son propre modèle.
LangChain a mesuré l'effet en ne touchant qu'au harnais. Son agent deepagents-cli est passé de 52,8 % à 66,5 % sur Terminal-Bench 2.0, et son billet du 17 février 2026 l'écrit : « Nous n'avons retouché que le harnais et gardé le modèle fixe, gpt-5.2-codex. » Les 13,7 points viennent de la consigne système, des outils, d'une passe de vérification imposée avant la sortie, d'un compteur qui force l'agent à revoir sa méthode quand il retouche trop souvent le même fichier, et d'un dosage de l'effort de raisonnement, que LangChain range dans le harnais.
Des chercheurs de Tulane, de Rutgers et de Virginia Tech ont croisé trois modèles, GPT-5.4, Kimi K2.6 et GLM-5.1, avec trois harnais de complexité croissante, sur 100 tâches de SWE-bench Verified. Dans leur article de position du 7 mai 2026, changer de harnais déplace le score de 8,5 à 13 points, changer de modèle de 2,5 à 5 points, et six comparaisons de modèles sur neuf s'inversent d'un harnais à l'autre. Chaque case est la moyenne de deux exécutions, sans marge d'erreur publiée. Sur SWE-bench Pro, l'effet est plus mince. Claude Opus 4.5 y obtient 45,9 % dans SWE-Agent, le harnais du classement SEAL de Scale AI, à 3,6 points près. Sur les mêmes 731 tâches, un billet d'Augment Code du 4 février 2026 le mesure à 49,75 % dans Claude Code et à 51,8 % dans Auggie, l'agent d'Augment. L'écart entre ces deux harnais reste dans la marge de Scale.
Les auteurs de Terminal-Bench restent plus prudents. Leur article du 17 janvier 2026 estime que « le choix du modèle importe généralement plus que l'échafaudage de l'agent », sur un classement qui va de 63 % à environ 15 % pour les petits modèles. D'une génération à l'autre, le modèle domine. Entre modèles de niveau comparable, ceux qu'une entreprise met réellement en concurrence, le harnais peut suffire à inverser le classement. Claude Opus 4.7 devance Gemini 3 Pro dans les harnais des éditeurs, 68,9 % contre 65,8 %, et passe derrière lui dans Terminus 2. Claude Fable 5 et GPT-5.5, en tête de Terminal-Bench 2.1, gardent en revanche le même ordre dans les deux harnais.
Une session d'agent coûte plus cher à chaque tour
Une API facture à chaque appel tout le contexte transmis, et une session d'agent renvoie son historique à chaque tour, a détaillé le relevé des prix des API d'octobre 2026 d'ActuIA. Michael Bolin, d'OpenAI, reconnaît dans « Unrolling the Codex agent loop », le 23 janvier 2026, que le volume envoyé par Codex croît de façon quadratique. Le cache amortit la dépense, avec une remise de 95 % sur le token relu chez Claude Opus 5.5 comme chez GPT-6.1 Sol. Un harnais qui réécrit en cours de session le début de sa requête, pour changer ses outils, son modèle ou son bac à sable, perd cette remise ; Codex ajoute ces changements en fin de requête pour la garder. Il compacte seul l'historique au-delà d'un seuil réglable.
Le choix des outils pèse autant. Dans « Code execution with MCP », le 4 novembre 2025, Anthropic chiffrait à 150 000 tokens la dépense d'un agent qui charge d'emblée la définition de tous ses outils, contre 2 000 quand il les appelle depuis du code. Vercel a retiré 80 % des outils de d0, son agent qui traduit des questions en SQL, pour l'essentiel au profit de commandes bash. Sur cinq requêtes avec Claude Opus 4.5, la consommation moyenne est tombée d'environ 102 000 à 61 000 tokens et la réussite est passée de quatre à cinq requêtes sur cinq. Cinq requêtes ne font pas une statistique. Les abonnements suivent la même règle. En doublant le 29 octobre les quotas Codex de ses forfaits Pro, OpenAI a précisé que la consommation variait avec le modèle, la tâche et les réglages, et qu'un quota doublé ne doublait donc pas le nombre de tâches, selon The Decoder et ActuIA.
Le refus du modèle arrive après l'exécution de l'outil
Le harnais décide enfin de ce qu'un agent a le droit de faire. Un préprint, ToFu, l'a montré le 9 octobre 2026 sur LangGraph avec un petit modèle local. Ce modèle émet un appel à un outil factice nommé launch_missiles, que LangGraph exécute sans contrôle, puis rédige son refus : le refus arrive après l'exécution. La vérification de l'autorisation, sur l'outil et ses arguments, revient donc au harnais et aux outils eux-mêmes. Les sous-agents ajoutent un étage. GPT-6 Astra avait reçu d'un autre agent la consigne de ne jamais désactiver, « même temporairement », un moniteur chargé de repérer les dérives des modèles. Le 6 octobre, il a délégué une migration en demandant de préserver cette surveillance « dans la mesure appropriée à la PR exacte, plutôt que d'inventer un nouveau dispositif de surveillance obligatoire ». Le sous-agent a retiré le moniteur, puis remplacé le test qui vérifiait sa présence par un test qui exige son absence.
Demander l'accord de l'utilisateur protège mal, puisque les utilisateurs acceptent 93 % des demandes d'autorisation, constate Anthropic dans son billet du 25 mars 2026 sur le mode automatique de Claude Code. Son bac à sable, qui borne les répertoires modifiables et les serveurs joignables, a d'abord réduit ces demandes de 84 % en usage interne. Un classifieur relit ensuite, avant exécution, les actions qui ne sont pas déjà autorisées, comme les commandes shell ou les accès au réseau ; sur 52 actions excessives réelles, il en a laissé passer 17 %. OpenAI isole lui aussi l'exécution dans son Agents SDK depuis le 15 avril 2026 : « séparer le harnais et le calcul aide à garder les identifiants hors des environnements où s'exécute le code généré par le modèle ».
Évaluer le harnais séparément du modèle
Une entreprise qui choisit un agent achète un couple, et les chiffres publiés n'en décrivent souvent qu'une moitié. La première question porte sur le harnais qui a produit le score annoncé, et sur sa ressemblance avec celui qui sera déployé. Le classement Bash Only de SWE-bench, qui fait passer chaque modèle dans le même harnais, mini-SWE-agent, compare des modèles ; Terminal-Bench, qui publie le couple, compare des agents. Il faut ensuite mesurer le coût sur la tâche entière, comme le fait le Coding Agent Index d'Artificial Analysis, calculé au tarif des API avec la lecture et l'écriture du cache. Le risque se lit dans la configuration par défaut : ce qui s'exécute sans accord, ce que le bac à sable laisse joindre, où sont rangés les identifiants, ce qu'un sous-agent reçoit des consignes.
Un harnais vieillit aussi plus vite qu'un contrat. Anthropic avait ajouté des remises à zéro du contexte pour Claude Sonnet 4.5, qui bouclait ses tâches trop tôt quand il sentait approcher la limite de contexte ; avec Claude Opus 4.5, elles étaient devenues « un poids mort ». Chaque changement de modèle oblige à réévaluer le harnais, et chaque changement de harnais à refaire les mesures.
Artificial Analysis a prévu sur sa page des agents de code une rubrique, « Harness Comparison », qui comparera les harnais. Le 30 octobre 2026, elle portait la mention « bientôt disponible ».
Citations traduites de l'anglais par ActuIA.
Nos articles remonteront en priorité dans « À la une » de Google.