Skymizer 公布 AI 推理解码加速器:单 PCIe AIC 可集成 384GB 内存

台湾 AI IP 企业 Skymizer 发布推理解码阶段加速器芯片 HTX301,可与负责预填充阶段的 GPU 协同加速推理输出以提高算力利用率与能效。HTX301 基于 HyperThought 软硬件协同平台与 LISA 指令集,面向带宽密集型负载,支持 SoC 与 PCIe AIC 部署;单张 PCIe AIC 可集成 6 颗芯片与合计 384GB 内存,宣称可在本地运行 700B 参数大模型且整卡功耗约 240W。

5 月 7 日消息,中国台湾地区 AI IP 企业 Skymizer 近日发布了其推理解码阶段加速器芯片 HTX301,这款芯片可与负责预填充阶段的 GPU 结合加速推理结果输出,提升算力系统的利用率和整体能效。

IT之家了解到,HTX301 基于该企业的 HyperThought 软硬件协同设计平台采用 LISA 语言指令集架构,专注带宽密集型负载

其采用了一种可扩展的设计方案,支持 SoC 与 PCIe AIC 部署形态。后者可在单卡上集成 6 颗 HTX301 芯片与合计 384GB 内存,满足 700B 高参数大模型本地运行的需求同时功耗仅有 240W

版权声明:本站文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明出处!

评论加载中...