对Chain-Of-Thought的有前景替代方案:Sapient押注于分层架构

对Chain-Of-Thought的有前景替代方案:Sapient押注于分层架构

TLDR : 创业公司Sapient Intelligence正在开发一种基于分层推理模型(HRM)的创新通用人工智能方法。该模型因其在复杂任务中的性能而脱颖而出,可能在医疗诊断或气候预报等领域找到应用。

新加坡初创公司Sapient Intelligence致力于实现许多人视为人工智能圣杯的目标:通用人工智能(IAG)。为此,他们押注于一种彻底创新的架构:Hierarchical Reasoning Model(HRM)。其模型在复杂推理任务中优于体积更庞大的LLM,如OpenAI o3-mini、Claude 3.7 8K或DeepSeek R1,仅使用2700万个参数和大约1000个训练示例,且无预训练。
Sapient Intelligence团队中有来自Google DeepMind、DeepSeek、Anthropic和xAI的前员工,以及顶尖大学的研究人员。他们开发的架构受人类大脑处理信息方式的启发,依赖于分层结构和多时间尺度处理。

受生物学启发的架构

与主要依赖于连锁思维(CoT)的大型语言模型(LLM)不同,这种方法容易出现任务分解不稳的情况,HRM引入了一种根本不同的方法。
该模型依赖于双层次的分层架构:高层次的递归网络管理抽象和缓慢的计划,而低层次的网络处理快速和详细的执行。
这种组织方式使其能够在一次计算中平衡快速直观的推理和缓慢深思熟虑的分析。

图片来源:Sapient。HRM拥有两个递归网络,在不同的时间尺度上协作解决复杂任务
.
Guan Wang,Sapient Intelligence创始人兼首席执行官,评论道:
“IAG的真正目标是让机器具备人类水平的智能,甚至超越人类。CoT让模型通过概率游戏模仿人类推理,这只是权宜之计。在Sapient,我们从零开始,采用受大脑启发的架构,因为自然界已经花费数十亿年完善它。我们的模型像人一样思考和推理,而不仅仅是分析概率以获得基准点。我们相信,它将达到并超越人类智能,那时AGI的对话将真正开始。”

性能

尽管体积小巧,HRM在公认非常困难的任务上优于OpenAI o3-mini、Claude 3.7 8K或DeepSeek R1等模型。
它在ARC-AGI(Abstraction and Reasoning Corpus)第二版上特别达到了5%的表现,这是对归纳智能最严格的基准之一。在复杂的数独谜题和30x30迷宫的最佳路径搜索中,它是唯一能够成功的。

具体应用是什么?

模型的推理效率及其对数据的低依赖性在数据集有限但精确性和可解释性至关重要的领域中打开了新的前景。
Sapient Intelligence提到的用例包括在医疗领域中测试用于帮助诊断罕见疾病。在季节性气候预测方面,团队宣布达到了97%的精确度。由于其计算轻量化,HRM可以嵌入于在动态环境中实时操作的机器人中。
源代码可在GitHub上获取  地址 https://github.com/sapientinc/HRM.