Penguin推出光子HBM级内存设备
IT时代网11月17日消息,Penguin Solutions 在芝加哥举行的 SC26 大会上展示了 MemoryAI Photonic Appliance,称其为业界首款基于硅光子的 HBM 级内存设备,面向智能体 AI 负载中 GPU 显存容量受限的问题。
该设备采用硅光子技术,让 CPU 与 GPU 以 HBM 级数据速率透明共享内存。HBM 为 GPU 生成 token 提供高速数据访问,但这类超高速内存必须贴近 GPU 放置,容量受封装尺寸与硅 I/O 限制,容易造成数据瓶颈、令 GPU 利用率不足,形成所谓的 AI 内存墙。
MemoryAI Photonic Appliance 面向多机架 AI 基础设施,目标是实现每秒 TB 级数据速率,把内存访问距离从毫米级扩展到米级,用 HBM 或标准 DDR5 扩充可用容量,作为现有 GPU 板载 HBM 的补充而非替代。内存以透明方式共享,应用可像访问本地内存一样调用设备内存,无需专门的访问例程或数据拷贝,并支持静态或动态分配。通过 CXL 3.0 连接与 Marvell 光子网卡,同一共享内存池也可供 CPU 访问。
该设备隶属 Penguin MemoryAI 平台架构,配合提供网络附加内存以卸载 KV 缓存的 MemoryAI KV Cache Server,以及扩展 CPU 内存容量的 SMART CXL 插卡,用于把可复用的 KV 缓存数据从 GPU 板载 HBM 卸载出来,缓解推理负载压力。
官方列出的关键规格包括:整机总带宽目标 57.6 Tbps;单台设备最高支持 16 TB DDR5 RDIMM 内存与 576 GB HBM3E 内存;提供 HBM 直连、HBM-DDR5 缓存、DDR5 直连三种内存池访问模式;通过管理软件按负载需求为 GPU 与 CPU 静态或动态分配内存。
Penguin Solutions 先进产品开发副总裁 Andy Mills 表示,光子技术让 GPU 可以直接访问规模化的内存,CPU 与 GPU 能够透明共享 TB 级内存。Marvell Photonic Fabric 业务部门高级副总裁兼总经理 Preet Virk 称,把 Photonic Fabric 技术集成到该设备,能够在多机架范围实现高带宽、低延迟、大容量的内存共享。
该设备计划在 2027 年下半年向部分客户送样。
此前报道显示,Penguin Solutions 曾推出支持 CXL 的 DDR4 扩展方案,用于缓解 AI 数据中心的内存短缺。

编辑:林一舟