gpt-oss 是 OpenAI 推出的一系列开源模型,旨在支持强大的推理、代理任务和通用开发者使用场景。该系列模型提供了两种不同规模的模型:gpt-oss-120b 和 gpt-oss-20b,分别适用于生产环境和低延迟、本地或特定用途的场景。这些模型在训练过程中使用了 OpenAI 的 harmony 响应格式,并且仅支持该格式的输入,否则无法正常工作。
- gpt-oss开源项目地址:https://github.com/openai/gpt-oss
- gpt-oss官网入口网址:https://openai.com/zh-Hans-CN/open-models/

gpt-oss 模型具有多项优势,包括可配置的推理能力、完整的链式推理过程、可微调的模型、代理能力、MXFP4 量化支持等。这些特性使得模型在推理效率和性能上具有显著优势。此外,模型采用 Apache 2.0 许可,允许自由使用、定制和商业部署。
用户可以通过多种方式使用 gpt-oss,包括使用 Transformers 库、vLLM、Ollama、LM Studio 等工具进行推理。此外,gpt-oss 提供了多种参考实现,包括 PyTorch、Triton、Metal 等,以满足不同硬件和场景的需求。
gpt-oss 是一个开源、高性能的模型系列,适合开发者和研究人员在多种场景下进行推理和开发。
相关导航
暂无评论...