TLDR : Die UNESCO fordert zur Reduzierung des Energieverbrauchs von LLMs auf, indem die Modelle spezialisierter, Interaktionen kürzer und Modelle komprimiert werden.
Inhaltsverzeichnis
Während der AI for Good-Gipfel gestern in Genf seine Türen öffnete, zeigt eine gemeinsame Studie der UNESCO und des University College London (UCL), dass einfache Anpassungen bei der Gestaltung und Nutzung von Sprachmodellen deren Energieverbrauch um 90 % reduzieren können, ohne ihre Leistung zu beeinträchtigen. In einem Kontext, in dem der ökologische Fußabdruck der KI zu einem strategischen Thema wird, fordert dieser Befund dazu auf, die Art und Weise, wie LLMs weltweit trainiert, eingesetzt und genutzt werden, neu zu überdenken.
Ein unsichtbarer, aber exponentieller Verbrauch
Jede Anfrage an eine generative KI wie ChatGPT verbraucht durchschnittlich 0,34 Wattstunden. Eine scheinbar unbedeutende Zahl, bis man sie mit der massiven Nutzung dieser Werkzeuge multipliziert. Heute nutzen mehr als eine Milliarde Menschen sie: Eine einzige tägliche Interaktion von jedem mit einem dieser Werkzeuge entspricht einem jährlichen Verbrauch von über 310 Gigawattstunden, was dem jährlichen Stromverbrauch von etwa 3 Millionen Einwohnern eines einkommensschwachen afrikanischen Landes entspricht.
Doch nur 5 % der afrikanischen KI-Experten haben Zugang zu den notwendigen Infrastrukturen, ein eklatantes Ungleichgewicht, das die digitale Kluft zu den einkommensstarken Ländern vertieft, in denen der Großteil der Rechenkapazitäten konzentriert ist.
Drei Hebel für eine energieeffizientere KI
Experimente mit mehreren Open-Source-LLMs ermöglichten es den Forschern des UCL, drei Ansätze zu identifizieren, um den CO2-Fußabdruck generativer KI zu minimieren:
- Nutzung kleinerer und spezialisierterer Modelle: Im Gegensatz zur weit verbreiteten Meinung, dass "größer" gleichbedeutend mit "intelligenter" ist, zeigen die Ergebnisse des UCL, dass kompakte Modelle, die auf spezifische Aufgaben (Zusammenfassung, Übersetzung, Informationsextraktion) spezialisiert sind, den Energieverbrauch um das Zehnfache senken können, ohne Leistungseinbußen.
Diese Logik der "Spezialisierung" findet sich in den Mixture of Experts (MoE)-Architekturen wieder, die nur die für jede Aufgabe relevanten Module aktivieren, wodurch Ressourcenverschwendung vermieden und die Energieeffizienz optimiert wird; - Verkürzung der Interaktionen: Kürzere Eingaben und Antworten können laut durchgeführter Tests den Energieverbrauch um mehr als 50 % reduzieren;
- Komprimierung der Modelle: Techniken wie die Quantifizierung ermöglichen es, die Größe der Modelle zu reduzieren, ohne nennenswerte Genauigkeitsverluste zu erleiden, was zu Energieeinsparungen von rund 44 % führt. Diese Ansätze sind in der Forschung bekannt, bleiben jedoch in kommerziellen Einsätzen noch marginal.
Die im November 2021 einstimmig von den 194 Mitgliedstaaten angenommene "Empfehlung zur Ethik der künstlichen Intelligenz" der UNESCO enthält ein Kapitel über die Umweltauswirkungen dieser Technologien. Dieser neue Bericht reiht sich in diese Kontinuität ein und fordert Regierungen und Unternehmen auf, in die F&E einer sparsameren, ethischen und zugänglichen KI sowie in die Bildung der Nutzer zu investieren, damit sie sich der energetischen Folgen ihrer digitalen Praktiken bewusst werden.