目次
コンテキストのコンパクションは、長いエージェントセッションをウィンドウを飽和させずに維持するためにデプロイヤーが通常使用する標準的なメカニズムであるが、パーソナリティのドリフトを確実に修正することはできない。オープンソースのベンチマークは、この点を23の境界モデルで文書化し、テスト済みの回答を提案している。それは、API標準のメッセージ完了機能（チャットコンプリート）を介して、再学習なしに、評価対象のすべてのターゲットで元のレジストリを復元するシングルショットアンカーを注入することだ。この研究はContextEchoと名付けられ、2026年5月22日にAccentureのCenter for Advanced AIの研究者であり、2024年から2025年にかけてLawrence Berkeley National Labでポストドクトラルを務めたXianzhong DingによってarXivに投稿されている（OpenReviewのプロファイルによる）。また、匿名のダブルブラインドレビュー中であるNeurIPS 2026 Evaluations & Datasets Trackにも提出されている。テスト環境は、Hugging Faceで公開されているが、評価が匿名で行われている間はアクセスが制限されている匿名化されたリポジトリにテスト用ハーネスが提出されている。
23モデルが評価：宣言された堅牢性、制限された検証可能性
ContextEchoは、さまざまな組織からの23の境界モデルに関する結果を発表しているが、アクセス可能なソースにはそのリストは公表されていない。使用された3つの参照セッションは匿名化されており、外部での再現可能性が制限されている。このベンチマークは、NeurIPS 2026 Evaluations & Datasets Trackでダブルブラインドレビュー中であり、その結論はまだ公表されたピアレビューを受けていない。
セッションを乱さずに接続された25のプローブスイート
アーキテクチャは4つのブロックで構成されている。25のアイデンティティプローブスイート（25-probe identity suite）はモデルの行動一致を確認し、snapshot-then-probeプロトコルはメインセッションを乱さずに会話状態を分岐させることで、ドリフトを引き起こすことなく測定できる。補完的な測定面は、モデルジャッジによる評価（judged）と中間LLMを使用しないメトリクス計算（judge-free）の二つのアプローチを交差させている。これらは、それぞれ3,746から9,716の会話ターンをカバーする3つの匿名化されたClaude Codeセッションに基づいており、従来の短い対話に焦点を当てたパーソナリティの安定性プロトコルの対象外である。評価は、著者によると、さまざまな組織からの23の境界モデルに基づいており、そのリストは現時点では公表されていない。シングルショットアンカーの堅牢性は評価されたすべてのターゲットで証明されているが、各ターゲットの正確な条件は論文の範囲外で独立して検証できない。下流使用において、効果はモード依存であり、ツールなしモードではドリフトがフォーマット契約を破り、出力の長さを膨らませ、ツールありモードではツールの使用を継続させる可能性がある。
一般的なドリフトと標準的な対応策が保持されない
最初の構造的教訓は横断的な範囲を持つ：パーソナリティのドリフトは、組織全体で一般的に観察され、特定のモデルファミリーに特有ではない。評価された全体的なパネルにおいて、技術系統（アメリカ、ヨーロッパ、アジアの研究所から）で免疫されているものはない。第二の教訓は一般に解決策として提示されているメカニズムを対象としている：セッション中のコンパクションは、パーソナリティのドリフトを確実にリセットしない。しかし、コンパクション（会話を通じたコンテキストのスライディングサマリー）は、デプロイヤが長いセッションをウィンドウを飽和させずに維持するために活用する正にレバーである。著者の調査結果は、これに依存する生産中のエージェントアーキテクチャに直接関係する。結果は独立して確認される必要がある：この作業はNeurIPSトラックに提出され、匿名で評価中であり、各システムのコンパクションの実装は大きく異なるため、産業的な一般化の前に注意が必要である。長いセッションでのエージェントの行動一致は、今や積極的なテーマである：Purdueの隣接した研究、When the Specification Emergesは、仕様が徐々に現れる際のコードエージェントの忠実度の喪失を並行して検討している。AIの行動評価の広範な分野では、Google DeepMindがIAGの能力と行動を分類するためのフレームワークを提案しているとActuIAが既に指摘しており、標準化された測定プロトコルへの分野の成熟を示している。
どの技術系統も免疫されているようには見えない。
パーソナリティのドリフトは、組織全体で一般的に観察され、特定のモデルファミリーに特有ではない - ContextEchoの著者による23の境界ターゲットに基づく。
学術ラボに裏付けされていないコンサルティング会社に基づくベンチマーク
貢献の制度的な連携は注目に値する。Xianzhong Dingは、2025年からAccentureのCenter for Advanced AIの研究者であり、2024年から2025年にかけてLawrence Berkeley National Labでポストドクトラルを務め、UC MercedでElectrical Engineering and Computer Sciencesの博士号を取得している。このプロファイルは、アメリカの公的エネルギーと大企業のコンサルティングにおける応用研究を交差させている。ActuIAは、この分野でのグループの増大する投資を既に文書化しており、コンサルティング会社の発表によれば、2023年にAccentureはAIとデータに30億ドルを投資することを発表している。そして、引き続きグループによれば、フランスでのプレゼンスを強化し、生成AIに特化した2つのセンターを設立した。ContextEchoは、この公開研究の生産政策に位置付けられている：この研究は国際的なトップクラスの学術会議（NeurIPS）を目指しており、セルによる評価のコーパスとセッションプレフィックスが、同じ提出物でHugging Faceで提供されている。特定のメソッド論的な特性は、デプロイメントのアンカーにある：3つの匿名化されたClaude Codeセッションが基礎データとして使用されており、これは、著者が実際の使用からのトレースを優先し、ラボで構築された対話ベンチに依存する多くの評価プロトコルがまだ存在する分野で重視されていることを示している。
ActuIAの見解
ContextEchoの真のテーマはテキストアンカーではなく、それを必要とする観察：デフォルトで長いセッションを維持するために活性化されるコンパクションは一貫性を約束しない。エージェントデプロイヤーのオーケストレーション層は、過去18ヶ月間、著者が23の境界モデルで失敗していると述べる暫定策に基づいている。