TLDR : 一项研究显示，通过设计和使用调整，语言模型的能耗可以减少90%，而不影响其性能。这促使人们重新思考LLM的使用方式。
目录
在日内瓦的AI for Good峰会昨日开幕之际，UNESCO和University College London (UCL)的一项联合研究表明，通过简单的设计和使用调整，语言模型的能耗可以减少90%，而不影响其性能。在人工智能的环境足迹成为战略性问题的背景下，这一发现促使人们重新思考LLM在全球范围内的训练、部署和使用方式。
无形但指数增长的消耗
每次向生成式AI（如ChatGPT）发出的请求平均消耗0.34瓦特小时。这一看似微不足道的数字，当与这些工具的大规模使用相乘时却意义重大。如今，超过十亿人使用这些工具：每人每天与这些工具进行一次互动，相当于每年消耗超过310吉瓦时的电力，相当于一个非洲低收入国家约300万人一年的用电量。
然而，只有5%的非洲AI专家能够获得必要的基础设施，这种明显的不平衡加剧了与高收入国家之间的数字鸿沟，这些国家集中了主要的计算能力。
降低AI能耗的三个杠杆
UCL的研究人员通过对多个开源LLM的实验，确定了三种减少生成式AI碳足迹的方法：
- 使用更小且专业化的模型：与“大即智慧”的普遍观点相反，UCL的结果显示，针对特定任务（如摘要、翻译、信息提取）的紧凑专业模型可以将能耗减少十倍而不影响性能。
这种“专业化”逻辑在Experts混合架构（MoE）中得以体现，它仅激活每项任务相关的模块，从而避免资源浪费并优化能效； - 减少互动长度：根据所进行的测试，简洁的提示和响应可以使能耗减少超过50%；
- 压缩模型：例如量化技术可以在不显著损失准确性的情况下减少模型大小，从而实现约44%的能耗节省。这些在研究中众所周知的方法在商业部署中仍然较为边缘化。
2021年11月，194个成员国一致通过了UNESCO的《人工智能伦理建议》，其中包含一个专门讨论这些技术环境影响的章节。新的报告在此基础上，呼吁政府和企业投资于更节能、伦理和可及的人工智能研发，同时也要提高用户的教育，使其意识到其数字行为的能源后果。