全球开源参数规模最大的科学多模态模型:上海 AI 实验室发布书生 Intern-S1-Pro

上海 AI 实验室开源了基于“通专融合”技术架构 SAGE 的万亿参数科学多模态大模型 Intern-S1-Pro,该模型是全球开源社区中参数规模最大的科学多模态模型,具有高难度综合学科评测和复杂数理逻辑推理能力,并在底层架构上实现了核心突破。

2 月 4 日消息,上海 AI 实验室今日(2 月 4 日)宣布开源基于“通专融合”技术架构 SAGE 打造的万亿参数科学多模态大模型 Intern-S1 - Pro

上海 AI 实验室表示,作为当前全球开源社区中参数规模最大的科学多模态模型,Intern-S1-Pro 的核心科学能力实现了跃升,高难度综合学科评测稳居 AI4S 领域国际领先水平,复杂数理逻辑推理能力达奥赛金牌水平,面向真实科研流程的智能体能力位居开源模型第一梯队。

图片

该模型基于混合专家架构(MoE),共拥有 512 个专家,总参数达 1T,每次调用仅激活 8 个专家、22B 参数。其通用能力和科学能力协同演进,并在底层架构实现了两大核心突破:

  • 在 SAGE 的基础模型层,通过引入傅里叶位置编码并重构时序编码器,赋予模型统一理解从微观生命信号到宏观宇宙波动的“物理直觉”;
  • 通过高效路由机制,系统攻克了训练万亿参数 MoE 模型在稳定性与算力效率上的瓶颈,为超大规模模型的训练提供了工程基础。

与此同时,Intern-S1-Pro 验证了从原创模型架构到国产算力基座自主技术的完整链路,为构建开放共享的 AGI4S 基础设施奠定了底座。

IT之家附 Intern-S1-Pro 开源地址如下:

  • 在线体验链接:https://chat.intern-ai.org.cn/
  • GitHub 链接:https://github.com/InternLM/Intern-S1
  • HuggingFace 链接:https://huggingface.co/internlm/Intern-S1-Pro
  • ModelScope 链接:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/Intern-S1-Pro

版权声明:本站文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明出处!

评论加载中...