In kort : Eenvoudige aanpassingen in AI-taalmodellen kunnen hun energieverbruik met 90% verminderen, zonder prestatieverlies, volgens een studie van UNESCO en UCL.
Samenvatting
Terwijl de AI for Good-top gisteren in Genève van start ging, onthult een gezamenlijke studie van UNESCO en University College London (UCL) dat eenvoudige aanpassingen in het ontwerp en gebruik van taalmodellen hun energieverbruik met 90% kunnen verminderen, zonder hun prestaties te beïnvloeden. In een context waarin de ecologische voetafdruk van AI een strategische uitdaging wordt, nodigt deze bevinding uit om opnieuw na te denken over de manier waarop LLMs wereldwijd worden getraind, ingezet en gebruikt.
Een onzichtbaar, maar exponentieel verbruik
Elke aanvraag aan een generatieve AI zoals ChatGPT verbruikt gemiddeld 0,34 wattuur. Een schijnbaar onbeduidend cijfer, totdat het wordt vermenigvuldigd met het massale gebruik van deze tools. Vandaag de dag maken meer dan een miljard mensen gebruik van deze tools: een enkele dagelijkse interactie van elk van hen met een van deze tools komt overeen met een jaarlijks verbruik van meer dan 310 gigawattuur, wat gelijk staat aan de elektriciteit die jaarlijks door ongeveer 3 miljoen inwoners van een arm Afrikaans land wordt verbruikt.
Slechts 5% van de Afrikaanse AI-experts heeft echter toegang tot de benodigde infrastructuur, een schrijnende ongelijkheid die de digitale kloof met de hoge-inkomenslanden vergroot, waar het grootste deel van de rekenkracht is geconcentreerd.
Drie hefbomen voor een minder energie-intensieve AI
Experimenten met verschillende open source LLMs hebben de onderzoekers van de UCL in staat gesteld drie benaderingen te identificeren om de koolstofvoetafdruk van generatieve AI te minimaliseren:
- Kleiner, gespecialiseerde modellen gebruiken: In tegenstelling tot de gangbare opvatting dat "groter" gelijk staat aan "slimmer", tonen de resultaten van de UCL aan dat compacte modellen, gespecialiseerd in specifieke taken (samenvatting, vertaling, informatie-extractie) het energieverbruik met een factor tien kunnen verminderen zonder prestatieverlies. Dit specialisatieprincipe wordt ook gevonden in de Mixture of Experts (MoE)-architecturen, die alleen de relevante modules voor elke taak activeren, waardoor verspilling van middelen wordt vermeden en de energie-efficiëntie wordt geoptimaliseerd;
- De lengte van interacties verminderen: Kortere prompts en antwoorden kunnen volgens de uitgevoerde tests een energiebesparing van meer dan 50% opleveren;
- Modellen comprimeren: Technieken zoals kwantisering maken het mogelijk om de grootte van modellen te verkleinen zonder merkbaar precisieverlies, met als resultaat energiebesparingen van ongeveer 44%. Deze benaderingen, bekend in het onderzoek, zijn nog steeds marginaal in commerciële implementaties.
Aangenomen met eenparigheid van stemmen door de 194 lidstaten in november 2021, integreert de "Aanbeveling over de ethiek van kunstmatige intelligentie" van UNESCO een hoofdstuk gewijd aan de milieueffecten van deze technologieën. Dit nieuwe rapport past in deze continuïteit en roept regeringen en bedrijven op om te investeren in R&D van een soberdere, ethische en toegankelijke AI, maar ook in de opleiding van gebruikers, zodat zij zich bewust worden van de energiegevolgen van hun digitale praktijken.