Penguin Solutions 于 3 月 16 日推出业界首款量产采用 CXL 技术的 KV Cache 服务器 MemoryAI KV Cache，整合 3TB DDR5 主内存和 8 个 1TB CXL 内存 AIC 模块，提供共计 11TB 的内存容量。厂商称该方案针对 AI 推理场景更注重内存（文章提及“推理通常 30% 依赖算力、70% 依赖内存”），可降低延迟、缩短首 Token 响应时间、提高吞吐与 XPU 集群利用率，适用于实时金融分析、大规模 RAG、合规分析等低延迟企业级任务。该报道出现在英伟达 GTC 2026 专题相关内容中。
3 月 17 日消息，Penguin Solutions 当地时间本月 16 日宣布推出业界首款采用 CXL 技术的量产型 KV Cache 服务器。其综合了 3TB 的 DDR5 系统主内存和 8 个 1TB 的 CXL 内存 AIC 模块，可为 AI 推理负载提供合计 11TB 的海量内存空间。
IT之家注意到，Penguin 表示 AI 推理通常而言 30% 依赖于算力而 70% 依赖于内存，这是此类工作负载与模型训练 / 调优最大的不同。同时，延迟表现也很大程度上影响了推理场景的用户使用体验。
Penguin Solutions 此次推出的 MemoryAI KV Cache 服务器可为 AI 推理系统带来更低的延迟、更短的首 Token 响应时间、更高的吞吐量、更高的 XPU 集群利用效率，持续满足严苛的服务水平一致性要求，尤其适合实时金融分析、海量数据集 RAG、监管合规性分析等需求大窗口和低延迟的企业级任务。
英伟达 GTC 2026 大会专题