Le test de migration d'OpenAI vise un risque précis : une réécriture qui tourne sans erreur et fausse des montants. Dans les calculs à virgule fixe du COBOL, les décimales en trop sont tronquées, sauf si l'arrondi est demandé. Une réécriture qui arrondit donne alors d'autres résultats financiers, explique le billet d'OpenAI. Le test exige donc des sorties observables identiques à l'octet près, et une migration ne compte que si tous ses tests passent. GPT-6.1 Sol y réussit 86,6 % des migrations. Le billet ne dit ni combien de programmes compte le test, ni d'où ils viennent, ni quelle taille ils font : rien ne rattache ce chiffre à un parc applicatif donné.

Les deux évaluations du billet sont conçues et mesurées par OpenAI. Elles ne portent pas sur les mêmes modèles. La première, MultiLangBench, fait écrire à GPT-6 Astra un moteur de base de données compatible SQLite dans 20 langages : son protocole et ses tests sont publiés. La seconde, la migration du COBOL, est menée avec GPT-6.1 Sol, facturé cinq fois moins cher qu'Astra au tarif catalogue. Ses tests, dits cachés, ne sont pas publiés. Aucune entreprise cliente n'est citée.

Un banc d'essai extérieur, Code Migration, publié par Vals AI et mis à jour le 19 octobre, le jour même du billet, comprend un volet COBOL vers Java. Au classement général, GPT-6.1 Sol est quatrième sur 26 modèles, derrière deux modèles d'Anthropic et GPT-6 Astra. Il coûte 9,51 dollars par test selon Vals, contre 43,88 dollars pour Claude Sonnet 5.5, premier. Vals AI se présente comme un évaluateur indépendant. Sa page de présentation ne dit rien de son financement ni de ses liens avec les éditeurs de modèles.

Un critère strict, des programmes inconnus

Exiger que tous les tests passent est plus sévère que compter un pourcentage de tests réussis. Sa portée dépend de ce qui est migré. Un programme isolé ne pose pas les problèmes d'une chaîne de traitements par lots, avec ses fichiers, ses formats et ses dépendances.

Les 86,6 % sont obtenus en effort de raisonnement faible, le réglage le plus économe que propose GPT-6.1 Sol. Au même réglage, GPT-5.6 Sol réussit 5,4 % des migrations. À un effort plus élevé, que le billet ne nomme pas, GPT-6.1 Sol atteint 97,9 %, proche de la saturation du test selon OpenAI. Le coût de ce second résultat n'est pas donné.

Au réglage faible, OpenAI annonce une facture égale à 61 % de celle de GPT-5.6 Sol, sans dire sur quelle grille ni sur quel volume de jetons. Sur les fiches tarifaires officielles, le prix du jeton est divisé par deux : 2 dollars le million en entrée et 10 en sortie pour GPT-6.1 Sol, 4 et 20 dollars pour GPT-5.6 Sol, dont le tarif est promotionnel au moins jusqu'au 21 novembre 2026. À volume de jetons égal, la facture tomberait à 50 %. Une facture à 61 % suppose donc environ 22 % de jetons en plus par programme, hors cache (les jetons relus à prix réduit), selon un calcul d'ActuIA à partir de ces deux grilles. L'économie annoncée vient du tarif. Le modèle consommerait davantage de jetons par programme.

Quatrième sur 26 au banc d'essai de Vals AI

Chez Vals AI, le modèle travaille hors ligne et son code passe des tests cachés. Le volet COBOL compte dix dépôts. Il mêle programmes open source et systèmes synthétiques construits pour le test, avec formats de fichiers, traitements par lots et interfaces de terminal. Trente autres dépôts sont migrés entre Python, Java, Kotlin, Rust et C++.

Le classement place Claude Sonnet 5.5 en tête avec 86,88 % de tests réussis, devant Claude Opus 5.5 (81,01 %), GPT-6 Astra (80,58 %) et GPT-6.1 Sol (77,32 %). Vals ne publie pas de score COBOL. Chaque dépôt pèse autant dans le score global : le volet COBOL en représente un quart, sans qu'il soit possible de l'isoler.

Le critère d'OpenAI, tous les tests passés, donne une autre image. Sur les 120 migrations entre langages courants, Claude Opus 5.5 en reproduit entièrement 18 et Sonnet 5.5 15. Aucun autre modèle n'en réussit plus de 4, et GPT-6 Astra aucune. Vals ne donne pas ce décompte pour le COBOL.

Seule la version précédente du test, menée avec un autre harnais d'agent (l'outillage qui pilote le modèle pendant la tâche) et d'autres jeux de tests, mesure les deux générations d'OpenAI. GPT-6.1 Sol y réussissait 65,12 % des tests et GPT-5.6 Sol 52,92 %. L'écart est de douze points, contre 81 chez OpenAI. Les deux mesures ne se comparent pas directement : un modèle qui réussit neuf tests sur dix dans chaque programme n'en migre aucun au sens d'OpenAI.

Écrire du COBOL neuf reste le point faible

MultiLangBench mesure une autre compétence : écrire un logiciel de zéro. Le modèle reçoit la documentation de SQLite 3.40.1 et doit en livrer une version compatible, vérifiée par des tests tirés de la suite de tests de SQLite. Le dépôt recommande d'utiliser 272 tests parmi les 24 000 convertis. Le billet ne dit pas sur quelle série portent ses scores.

À effort maximal, GPT-6 Astra réussit en moyenne 87,4 % des tests sur les 20 langages, contre 26,8 % pour GPT-5.6 Sol. Il dépasse 83 % dans 19 langages. Le COBOL fait exception, à 72,1 %, contre 10,9 % pour GPT-5.6 Sol. Le Fortran passe de 21,4 à 83,5 %, le Visual Basic de 27,5 à 89,4 %.

Ce qui reste à la charge des équipes

OpenAI écrit que l'application de ces capacités à des logiciels en production « nécessite toujours une revue par des experts » (traduit de l'anglais), avec des tests portant sur les règles métier et les dépendances du système. Anthropic posait la même condition le 23 février 2026 en présentant Claude Code pour la modernisation du COBOL : l'IA rédige des tests d'équivalence, mais « votre équipe décide si ces tests suffisent ». Ce billet ne publiait aucune mesure.

Le cabinet de conseil Thoughtworks, dans une analyse du 2 mars 2026, ramène la génération de code à « une petite partie du problème ». Selon le cabinet, la modernisation comprend aussi la migration des données et, au besoin, l'exécution en parallèle des deux systèmes. Les tests d'OpenAI ne mesurent ni l'un ni l'autre.

OpenAI situe l'enjeu par trois chiffres : le COBOL ferait fonctionner plus de 40 % des systèmes de banque en ligne, 80 % des transactions par carte de crédit en magasin et 95 % des transactions aux distributeurs. Ils renvoient à une page d'IBM, qui les attribue à un article de PC Mag du 1er décembre 2023. Ces chiffres ont près de trois ans et ne viennent pas d'une mesure d'OpenAI. Anthropic limite aux États-Unis celui des distributeurs. Aucune donnée du billet ne porte sur l'Europe.

Nos articles remonteront en priorité dans « À la une » de Google.