OpenAI通过两个开源模型GPT-OSS-120B和GPT-OSS-20B重新拥抱开放性

OpenAI通过两个开源模型GPT-OSS-120B和GPT-OSS-20B重新拥抱开放性

Publicité
TLDR : OpenAI推出了两个新开源权重语言模型gpt-oss-120B和gpt-oss-20B,这些模型在推理任务上表现出色,并兼容各种应用,包括智能助手。尽管之前存在安全问题,这些模型集成了先进的过滤机制,以最大程度地减少公共使用的风险。

OpenAI昨晚宣布推出两个开源权重语言模型,gpt-oss-120B和gpt-oss-20B,并在Apache 2.0许可下提供。这一举措标志着公司的一次重大转变,此前自GPT-2以来,OpenAI一直未提供开源权重的LLM。这些模型的权重在Hugging Face上公开可用。

为推理和效率而设计的模型

这两个模型基于Mixture-of-Experts (MoE)架构,分别拥有1170亿和210亿的参数总量,但每个token只激活其中的一小部分(120B激活5.1B,20B激活3.6B)。两者均支持扩展到128,000个tokens的上下文长度。

OpenAI声称其在推理任务上具有竞争力的性能。GPT-OSS-120B在经典基准测试(如MMLU、HLE、TauBench等)中取得了接近o4-mini的结果,并且可以在单个80GB GPU上运行。较轻的20B模型被宣布可以在16GB内存下工作,这使其有可能在本地或嵌入式设备上使用。

GPT-OSS可在此测试

兼容性和使用案例

这些模型与OpenAI的API Responses兼容,并且原生支持Chain-of-Thought (CoT)、函数调用、结构化输出以及根据任务调整推理力度。

OpenAI的目标是将这些模型用于代理工作流程、智能助手开发、研究,或出于安全性或数据主权的原因进行本地部署。像AI Sweden、Orange和Snowflake这样的合作伙伴在发布之前已经参与进来,以探索具体的集成案例。

安全性和风险评估

OpenAI之前因安全问题转向封闭模型。安全性因此成为公司考虑的核心,并导致多次推迟这一备受期待的开源权重模型的发布。OpenAI现在声称已集成先进的过滤和后训练机制,以减少公共使用的风险。尤其是对故意经过恶意微调的版本(网络安全、生物学)进行了由外部专家进行的评估,作为OpenAI准备框架的一部分。

据公司称,即使在这些极端场景下,这些模型也不会达到令人担忧的能力水平。此外,在Kaggle上发起了一项奖金为50万美元的red teaming挑战赛,以鼓励对漏洞的协作检测。

对开源的谨慎回归?

此发布引发了多个问题。一方面,它表明了在强大的专有模型和开源替代方案之间重新平衡供应的意愿。另一方面,它让OpenAI在保持技术领先的同时,通过设定新的开源权重安全标准来规范使用。

在许可宽松的情况下发布权重,提供的工具(如优化推断、harmony renderer、PyTorch和Metal支持等),以及与Azure、Hugging Face或Vercel的合作伙伴关系旨在促进在日益分散的生态系统中的采用。

尚待观察这些模型在何种程度上会被社区采用,特别是面对如Mistral、LLaMA、Mixtral或Yi等替代方案,以及它们的开放性(尤其是自由微调的可能性)是否足以满足研究人员和开发者的期望。

 

在Hugging Face上查看模型卡片:

https://huggingface.co/openai/gpt-oss-20b

https://huggingface.co/openai/gpt-oss-120b

 

 

Cet article publirédactionnel est publié dans le cadre d'une collaboration commerciale