美初创Volantis融资8800万美元 研发光互连内存架构
IT时代网10月2日消息,美国初创公司Volantis宣布完成8800万美元A轮融资,用于构建一种面向超大模型的全新AI推理架构,首个系统A-1按设计可支撑超过20万亿参数的模型运行,单用户推理速度达到每秒1万Token。
该架构大量应用光互连技术,把大量内存连成统一内存池,单通道速率24Gb/s,光互连总带宽宣称超过250TB/s,容量可达10TB。公司方面称,相较当前光互连方案,新架构体积缩小约2500倍,单bit能耗低于1pJ/bit。
作为参照,当前最强的大模型处于5万亿参数量级,单用户速度不超过每秒100Token;20万亿参数模型若采用FP16精度,需要约40TB内存,现有顶级GPU方案难以同时满足容量与带宽需求。Volantis计划在2027年交付首批集成推理引擎,届时新架构的实际表现将接受检验。

注:本文中包含AI辅助创作的内容。
编辑:林一舟
THE END