Axelera发布Titania架构:AI推理能效冲7倍
IT时代网11月13日消息,欧洲AI芯片公司Axelera AI公布第三代架构Titania的技术细节。这是一款芯粒化设计的AI推理架构,可在现有数据中心的供电与散热限制内提供交互级速度的高性能推理,无需依赖当前高密度GPU系统所需的100千瓦级液冷机架。官方称其每瓦吞吐量最高可达当前最佳数据中心服务器的7倍,总体拥有成本最多改善20倍。
Titania基于前两代产品Metis与Europa的数字内存计算架构演进而来,采用芯粒设计、大容量LPDDR6内存、高带宽扩展互联与可编程RISC-V计算,单封装内存容量128GB,不依赖供应紧张的HBM。参考服务器AX8配备八颗双芯粒封装,可提供20PFLOPS的FP8算力、1TB加速器内存与19.6TB/s内存带宽,在标准4U风冷服务器内典型功耗仅5到6千瓦,单台即可承载FP4精度下1.6万亿参数的大模型并留有KV缓存余量,两台可装入传统15千瓦机架,五台可装入30千瓦风冷机架。
软件层面,Voyager工具链将支持张量、专家与流水线并行,以及投机解码、KV缓存卸载与分离式部署。Titania PCIe卡设计为现款Europa四芯显卡Server 250p的直接替代,现有模型2028年迁移时无需重新移植。该公司称这套架构在出货中的Europa芯片上已能把百分之八十八的内存带宽转化为实际token输出。Titania计划2027年三季度量产,目前已获得超3亿美元确认订单,11月15日至19日将在SC26芝加哥展会上做深入技术展示。

编辑:林一舟