У короткому : Дослідження ЮНЕСКО і UCL показало, що зміни в проєктуванні мовних моделей можуть значно зменшити їх енергоспоживання без втрати ефективності. Це важливо для зменшення екологічного сліду ШІ.
Зміст
Під час відкриття саміту AI for Good, що відбувся вчора в Женеві, спільне дослідження ЮНЕСКО та University College London (UCL) показало, що прості коригування в проєктуванні та використанні мовних моделей можуть зменшити їх енергоспоживання на 90 % без втрати продуктивності. У контексті, коли екологічний слід ШІ стає стратегічним питанням, це відкриття закликає переосмислити спосіб навчання, розгортання та використання LLMs у всьому світі.
Невидиме, проте експоненціальне споживання
Кожен запит до генеративного ШІ, такого як ChatGPT, споживає в середньому 0,34 ватт-годин. Це здається незначним, доки не помножити на масове використання цих інструментів. Сьогодні їх використовують понад мільярд людей: одна щоденна взаємодія кожного з ними з одним із цих інструментів становить річне споживання понад 310 гігават-годин, що еквівалентно електроенергії, яку споживають щорічно близько 3 мільйонів жителів африканської країни з низьким рівнем доходу.
Тільки 5 % африканських експертів з ШІ мають доступ до необхідної інфраструктури, що створює очевидний дисбаланс, який поглиблює цифровий розрив з країнами з високим рівнем доходу, де зосереджена основна частина обчислювальних потужностей.
Три важелі для менш енергозатратного ШІ
Дослідження кількох відкритих LLMs дозволили дослідникам з UCL ідентифікувати три підходи для мінімізації вуглецевого сліду генеративного ШІ:
- Використовувати менші та спеціалізовані моделі: На відміну від стереотипу, що "більше" означає "розумніше", результати UCL показують, що компактні моделі, спеціалізовані на конкретних завданнях (резюме, переклад, вилучення інформації), дозволяють зменшити енергоспоживання в десять разів без втрати продуктивності.
Цю логіку "спеціалізації" можна знайти в архітектурах Mixture of Experts (MoE), які активують лише релевантні модулі для кожного завдання, уникаючи марнотратства ресурсів і оптимізуючи енергетичну ефективність; - Зменшити довжину взаємодій: Коротші підказки та відповіді можуть зменшити енергоспоживання на понад 50 %, згідно з проведеними тестами;
- Стискати моделі: Техніки, такі як квантифікація, дозволяють зменшити розмір моделей без помітної втрати точності, забезпечуючи енергетичні вигоди на рівні 44 %. Ці підходи, відомі в дослідженнях, залишаються маргінальними у комерційних розгортаннях.
Ухвалена одноголосно 194 державами-членами в листопаді 2021 року, "Рекомендація щодо етики штучного інтелекту" ЮНЕСКО містить розділ, присвячений екологічним впливам цих технологій. Цей новий звіт вписується в цю безперервність, закликаючи уряди та компанії інвестувати в R&D більш помірного, етичного та доступного ШІ, а також в освіту користувачів, щоб вони усвідомлювали енергетичні наслідки своїх цифрових практик.