У короткому : Стартап Sapient Intelligence розробляє новий підхід до загального штучного інтелекту, заснований на моделі ієрархічного міркування (HRM). Ця модель відзначається своєю ефективністю у складних задачах і може знайти застосування в таких сферах, як медична діагностика або прогнозування клімату.
Зміст
Молода сінгапурська стартап-компанія Sapient Intelligence поставила перед собою мету досягти того, що багато хто вважає Граалем ШІ: загальний штучний інтелект (AGI). Для цього вони роблять ставку на радикально інноваційну архітектуру: Hierarchical Reasoning Model (HRM). Їхня модель перевершує набагато більші моделі LLM, такі як OpenAI o3-mini, Claude 3.7 8K або DeepSeek R1, у складних завданнях міркування, маючи лише 27 мільйонів параметрів і близько 1 000 тренувальних прикладів, без попереднього навчання.
У команді Sapient Intelligence працюють колишні співробітники Google DeepMind, DeepSeek, Anthropic та xAI, а також дослідники з провідних університетів. Архітектура, яку вони розробили, натхненна тим, як людський мозок обробляє інформацію, базується на ієрархічній структурі та багатомасштабній часовій обробці.
Архітектура, натхненна біологією
На відміну від великих мовних моделей (LLM), які в основному покладаються на стимулювання за допомогою ланцюга думки (CoT), метод, схильний до крихких розкладів завдань, модель HRM вводить принципово інший підхід.
Модель базується на дворівневій ієрархічній архітектурі: рекурентна мережа високого рівня керує абстрактним і повільним плануванням, тоді як друга, на нижньому рівні, обробляє швидке та детальне виконання.
Ця організація дозволяє їй балансувати між швидким та інтуїтивним міркуванням та повільним і обдуманим аналізом в одному проході обчислень.
Кредит Sapiens. HRM має дві рекурентні мережі, що працюють на різних часових масштабах для спільного вирішення складних завдань
.
Гуан Ванг, засновник та генеральний директор Sapient Intelligence, коментує:
"AGI дійсно полягає в тому, щоб надати машинам інтелект людського рівня, а згодом і більше. CoT дозволяє моделям імітувати людське міркування, граючи на ймовірностях, і це лише обхідний шлях. У Sapient ми починаємо з нуля з архітектурою, натхненною мозком, адже природа вже провела мільярди років на її вдосконаленні. Наша модель думає і міркує як людина, а не просто аналізує ймовірності для отримання орієнтирів. Ми вважаємо, що вона досягне, а потім перевершить людський інтелект, і саме тоді розмова про AGI стане реальною".
Продуктивність
Незважаючи на свої скромні розміри, HRM перевершує моделі, такі як OpenAI o3-mini, Claude 3.7 8K або DeepSeek R1 у завданнях, визнаних особливо складними.
Він досягає зокрема 5 % у версії 2 ARC-AGI (Abstraction and Reasoning Corpus), одного з найвимогливіших бенчмарків для індуктивного інтелекту. У складних судоку-пазлах та пошуку оптимального шляху у лабіринтах 30x30 він єдиний, хто успішно виконує ці завдання.
Які конкретні застосування?
Ефективність моделі міркування та її низька залежність від даних відкривають перспективи в областях, де великі набори даних обмежені, але точність та інтерпретованість є критичними.
Випадки використання, зазначені Sapient Intelligence, включають, наприклад, охорону здоров'я, де її тестують для допомоги у діагностиці рідкісних захворювань. Для сезонних кліматичних прогнозів команда оголошує про 97% точності. Завдяки своїй легкості в обчисленнях, HRM може бути інтегрований у роботи, які працюють у реальному часі в динамічних середовищах.
Вихідний код доступний на GitHub за адресою https://github.com/sapientinc/HRM .