罗福莉详解MiMo-V3新架构HySparse2降预填充

IT时代网9月23日消息，小米MiMo大模型负责人罗福莉当日发文，宣布MiMo-V3即将采用全新架构，其核心组件HySparse 2同日发布，主打更少的预填充计算量、更小的KV缓存与更出色的长上下文检索能力。

官方给出的关键数据是：在100万Token长度下，预填充计算量降低5.02倍，KV缓存缩小4.5倍，MRCRv2与RULER-v2评分更高，AgentPPL与LongPPL更低。罗福莉表示，智能体推理是一种截然不同的工作负载，每轮交互中一个简短动作可能返回需要预填充的长文本观察结果，上下文还在持续增长，预填充成本、KV缓存大小与检索准确率因此同时处于关键路径上。

技术路线上，HySparse 2引入KV桥接与KV重用两项设计：交叉解码器的全注意力层利用自解码器的隐藏状态构建K/V；每个混合块内的稀疏层复用前一层全注意力层的KV缓存和选择索引。此外还以Token级别选择替代块级别选择，用近期Token强制窗口替代独立SWA分支，让本地和全局Token共享同一份KV缓存。

注：本文综合自IT之家等，文中包含AI辅助创作的内容。

编辑：林一舟