中科曙光ParaStor首家接入Mooncake社区

IT时代网9月29日消息，中科曙光分布式存储ParaStor近日成为业界首家接入Mooncake社区的商用分布式存储，首次完成商用分布式存储后端的生产环境落地，相关技术能力已全部合入Mooncake社区主干。

大模型推理中，智能体、高并发对话、代码生成等场景会产生大量KV Cache中间数据，高效保存并复用这些数据能大幅减少重复计算，降低算力消耗和AI运行成本。内存方案成本高，本地SSD方案受单机容量和故障限制，外置分布式存储成为破解痛点的关键路径。

曙光ParaStor团队对Mooncake DFS存储分配逻辑进行模块化改造，围绕标准化接入、动态扩容和IO链路持续优化，商用分布式存储由此首次进入大模型推理核心业务链路，承接长尾KV Cache卸载工作。

生产环境实测中，曙光联合SGLang，基于国产加速卡与ParaStor F9000搭建端到端测试环境，在64K上下文、单卡7并发下，KV Cache卸载实现16倍吞吐提升，达到DRAM池吞吐值的80%，平均首Token延迟和P90首Token延迟均保持在10秒以内。

改造后的DFS接口支持缓存空间随业务负载按需扩容，以完整存储段为单元完成冷数据回收，系统重启后缓存数据仍可恢复使用，为更多商用存储接入大模型缓存场景铺平了道路。

注：本文中包含AI辅助创作的内容。

编辑：林一舟