Ai2 publie StateBench : les modèles de pointe tombent à 13 % ou moins sur les problèmes de suivi d'état les plus longs
Le 3 novembre 2026, Ai2 a présenté StateBench, banc d'essai du suivi d'état en contexte long, la capacité d'un modèle à suivre l'évolution de variables au fil d'un document. Il comporte quatre niveaux fondés sur la théorie de Krohn-Rhodes : affectation immuable, réaffectation par valeur, mise à jour autoréférentielle et affectation par référence ; chaque problème est décliné aux quatre niveaux.
Sur des séquences d'affectations, Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol et GPT-6 Luna réussissent les deux niveaux simples mais chutent à 13 % ou moins sur les problèmes généraux les plus longs. Les modèles ouverts Olmo 3 et Olmo Hybrid (7 milliards de paramètres) restent au niveau du hasard à ce niveau.
Entraînés directement sur StateBench, des modèles Gated DeltaNet et hybrides de 275 millions de paramètres généralisent presque parfaitement jusqu'à 64 000 affectations, 250 fois la longueur d'entraînement ; les Transformers n'apprennent jamais le niveau le plus difficile.


















