6月30日消息，OpenAI内部工程师称通过一系列系统底层优化，将模型推理成本降低超过50%。此次降本主要来自提升现有服务器资源利用率，而非增加新计算芯片，从而减少对英伟达芯片的需求，节省下来的成本可用于降低API定价或提高用户使用限额。
6 月 30 日消息，据 The Information 报道，OpenAI 工程师在内部透露，公司已通过一系列全新的系统底层优化，成功将 AI 模型的推理（运行）成本降低了 50% 以上。
据IT之家了解，推理成本指的是模型在实际运行并响应用户请求时所消耗的计算资源。
此次优化主要得益于现有服务器资源利用率的提升，而非依赖新增计算芯片的投入。这使得运行其 AI 系统所需的英伟达芯片更少，这些节省的成本可用于降低 API 定价或提高用户使用限额。