慧荣苟嘉章谈AI存储:KV Cache正迁往SSD

IT时代网10月9日消息,慧荣科技总经理苟嘉章在GMIF行业群访中谈到了AI存储、服务器迭代与车用存储的行业现状,其中对KV Cache落地节奏的判断尤为直接。

苟嘉章认为,KV Cache并非新技术,头部云厂商已经用了10年,真正的变化在于存放位置:KV Cache正从内存大规模迁移到SSD运行。KV Cache落地没有统一的行业标准,完全视场景而定,不同云厂商、不同AI智能体应用的读写逻辑和需求都存在明显差异。

主控芯片是落地这一技术的核心关键。慧荣的方案通过划分独立高速分区、搭配专属指令,将AI智能体的KV Cache读写通路和普通数据通路完全隔离,避免多任务运行造成数据损坏或丢失。慧荣将于明年初送样的SM8466主控(PCIe 6.0)搭载超大队列深度,适配多智能体并发场景;Dual Port架构升级后可同时支撑多个AI智能体的KV Cache运行。

在PCIe迭代节奏上,苟嘉章判断海外市场PCIe 6.0将于2027年起量、2028年成为数据中心主流,国内受国产CPU平台迭代节奏影响整体晚1至2年。目前国内刚普及PCIe 5.0,技术迭代不是越快越好,未来很长一段时间PCIe 5.0和6.0会长期共存。

注:本文中包含AI辅助创作的内容。

编辑:林一舟

THE END