プロミシングなChain-Of-Thoughtの代替案: Sapientが階層構造に注目

プロミシングなChain-Of-Thoughtの代替案: Sapientが階層構造に注目

TLDR : スタートアップのSapient Intelligenceは、階層的推論モデル(HRM)に基づく革新的な汎用AIアプローチを開発しています。このモデルは複雑なタスクで優れた性能を発揮し、医療診断や気候予測などの分野で応用が期待されています。

シンガポールの新興企業Sapient Intelligenceは、多くの人がAIの聖杯と考えるIAG、すなわち人工汎用知能の達成を目指しています。そのために、彼らは根本的に革新的なアーキテクチャである階層的推論モデル(HRM)に注力しています。このモデルは、OpenAI o3-mini、Claude 3.7 8K、DeepSeek R1のようなより大規模なLLMを上回り、27百万のパラメータと約1,000のトレーニング例のみで、事前トレーニングなしで困難とされる推論タスクをこなします。
Sapient Intelligenceのチームには、Google DeepMind、DeepSeek、Anthropic、xAIの元メンバーや、トップクラスの大学からの研究者が含まれています。彼らが開発したアーキテクチャは、人間の脳が情報を処理する方法に触発され、階層構造とマルチスケールの時間処理に基づいています。

生物学にインスパイアされたアーキテクチャ

主にChain-Of-Thought(CoT)によるインセンティブに依存する大規模言語モデル(LLM)とは対照的に、HRMモデルは根本的に異なるアプローチを導入しています。
このモデルは二層の階層的アーキテクチャに依存しています:高レベルの再帰ネットワークが抽象的でゆっくりとした計画を管理し、低レベルのネットワークが迅速かつ詳細な実行を処理します。
この組織により、迅速で直感的な推論とゆっくりで慎重な分析を一度の計算パスで切り替えることが可能になります。

Sapiens クレジット。HRMは、異なる時間スケールで動作する2つの再帰ネットワークを持ち、協力して複雑なタスクを解決します
.
Sapient Intelligenceの創業者兼CEOのGuan Wangはコメントします:
「IAGは本当に機械に人間レベルの知能を与えること、そして最終的には人間を超えることを意図しています。CoTは確率を操作して人間の推論を模倣するモデルにすぎず、それは回避策にすぎません。Sapientでは、脳にインスパイアされたアーキテクチャからゼロから始めています。なぜなら自然はすでに数十億年をかけてそれを完成させているからです。私たちのモデルは人のように考え、推論し、単に確率を分析して目標を達成するだけではありません。私たちはそれが人間の知能に達し、そしてそれを超えると考えており、その時点でAGIの会話が現実のものとなるでしょう」。

性能

その控えめなサイズにもかかわらず、HRMはOpenAI o3-mini、Claude 3.7 8K、DeepSeek R1のようなモデルを、特に難しいとされるタスクで上回ります。
特にARC-AGI (Abstraction and Reasoning Corpus) のバージョン2では5%を達成しており、これは誘導推論の最も厳しいベンチマークの一つです。複雑な数独パズルや30x30の迷路内での最適な経路探索では、唯一成功しています。

具体的な使用例

モデルの推論効率とデータへの依存度の低さは、大規模なデータセットが限られているが、正確さと解釈可能性が重要な分野での可能性を開きます。
Sapient Intelligenceが提案する使用事例には、希少疾患の診断を支援するための医療分野でのテストが含まれます。季節気候予測では、97%の精度を発表しています。その計算の軽さのおかげで、HRMは動的な環境でリアルタイムに動作するロボットに搭載することができます。
ソースコードはGitHubで https://github.com/sapientinc/HRMで入手可能です。