网站首页 文章专栏 Mistral AI 推出 Mistral 3 系列模型:从 3B 到 675B,Apache 2.0 开源
Mistral AI 推出 Mistral 3 系列模型:从 3B 到 675B,Apache 2.0 开源
发布 作者:溯波(实习) 浏览量:0
法国人工智能初创企业 Mistral AI 宣布推出新一代 Mistral 3 系列模型,包括首款混合专家模型 Mistral Large 和三款小型密集模型。这些模型均以 Apache 2.0 许可证开源,其中 Mistral Large 总参数量为 675B,活跃参数规模为 41B,使用 3000 块英伟达 H200 GPU 训练,性能在多语言对话和图像理解方面表现优异。

12 月 3 日消息,法国人工智能初创企业 Mistral AI 当地时间 2 日宣布推出其新一代 Mistral 3 系列模型,包括其采用稀疏架构的首款混合专家模型 Mistral Large 和三款小型密集模型。

Mistral Large 总参数量为 675B,活跃参数规模为 41B;Ministral 3“三兄弟”的参数规模分别为 14B、8B、3B。这些模型及衍生版本均以 Apache 2.0 许可证开源

Mistral AI 表示,使用 3000 块英伟达 H200 GPU 从头训练的 Mistral Large 3 是全球顶尖的开放权重模型之一

在经过后训练后,该模型在通用提示方面与市场上最佳的指令微调开放权重模型达到了同等水平,同时在多语言对话方面展示了图像理解和行业顶尖性能。Mistral Large 3 在 LMArena 排行榜的 OSS 非推理模型类别中位列第二,OSS 总榜第六。

对于参数较小的 Ministral 3,Mistral AI 称其实现了所有 OSS 模型中最佳的性价比,这些模型的指令变体在性能上与同类模型相当或更优,同时生成的 token 数量通常降低了一个数量级

loading