英伟达刷新 MLPerf 的 DeepSeek-V3 671B 训练记录:提速 60%,最快 2.02 分钟完成

英伟达宣布其 Blackwell 平台在 MLPerf Training 6.0 全部 7 项基准测试中均获最快训练成绩,且为唯一覆盖全部测试项目的平台。新版测试包含 DeepSeek-V3 671B、GPT-OSS 20B、Llama 系列、FLUX.1、GNN 和推荐系统等工作负载;英伟达提交了 GB200 NVL72 与 GB300 NVL72 两套机架系统(每套 72 块 GPU、通过第 5 代 NVLink Switch 互联)。GB300 在相同比例下最高可带来 1.6 倍速度提升,英伟达将训练规模推至 8192 块 GPU;CoreWeave 在 8192 GPU 的 GB300 系统上将 DeepSeek-V3 671B 训练至目标质量的时间缩短至 2.02 分钟(提速约 60%)。

英伟达昨日(6 月 16 日)发布博文,宣布在 MLPerf Training 6.0 全部 7 项基准测试中,其 Blackwell 平台拿下最快训练成绩,并成为唯一覆盖全部测试项目的平台。

注:MLPerf Training 是业界常用的 AI 训练基准测试体系,用来比较不同硬件与系统在模型训练任务中的速度和效率。

而昨日(6 月 16 日)最新发布的 MLPerf Training 6.0 测试套件中,主要包含 7 项核心测试,涵盖了当前主流的大语言模型、生成式 AI 及经典机器学习工作负载:

  • DeepSeek-V3:基于拥有 671B 参数的大规模预训练语言模型,侧重测试稀疏计算(MoE 架构)的性能。
  • GPT-OSS 20B:包含 210 亿参数的生成式预训练语言模型测试。
  • Llama 3.1-8B:主流的 8B 参数大规模语言模型(LLM)预训练测试。
  • Llama 2-70B:利用低秩自适应(LoRA)技术对 70B 参数的 Llama 2 模型进行微调测试。
  • FLUX.1:文生图(Text-to-Image)生成模型测试,测试多节点扩展下的处理能力。
  • GNN(图神经网络):基于 RGAT 模型的大规模图结构数据分类测试。
  • 推荐系统 (Recommender):基于 DLRM(深度学习推荐模型)的处理测试,通常用于评估大规模内容分发与广告推荐性能。

MLPerf Training 6.0 测试套件主要新增了 DeepSeek-V3 671B 和 GPT-OSS-20B 两个混合专家模型(MoE)预训练工作负载。

英伟达此次提交了 GB200 NVL72 和 GB300 NVL72 两套机架级系统。每套 NVL72 内部通过第 5 代 NVLink Switch 连接 72 块 GPU,把算力和内存整合成统一资源池。

在性能层面,GB300 NVL72 较 GB200 NVL72 在同等规模下最高可带来 1.6 倍训练速度提升。

在规模层面,英伟达把 Blackwell 训练集群推到 8192 块 GPU。其在 DeepSeek-V3 671B 任务上,用 GB200 NVL72 完成 8192 块 GPU 规模提交,成为迄今 MLPerf Training 中规模最大的 Blackwell 成绩。

CoreWeave 则借助采用 Spectrum-X 以太网的 GB300 NVL72 系统,在 8192 块 GPU 规模上把 DeepSeek-V3 671B 训练到目标质量,耗时缩短至 2.02 分钟。IT之家附上相关截图如下:

版权声明:本站文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明出处!

评论加载中...