双3090加持2.8万亿参数Kimi K3提速41%

IT时代网11月21日消息,一名个人服务器爱好者在社区公布了第二代傲腾AI主机的升级成果:加装两块RTX 3090显卡后,这台机器以每秒3.11个token的速度运行月之暗面Kimi K3全量2.8万亿参数模型,相比上个月公开的纯傲腾方案提速明显。

新配置下提示词评估速度达到每秒16.8个token。模型分片中有45份(共94份,合计414GB)被放入tmpfs内存盘,其余留在傲腾持久内存上。相比全部放在傲腾上的旧方案,生成速度提升约41%,提示词评估提升约26%。

两块RTX 3090的显存合计仅48GB,约占865GB模型文件的5.5%。该构建把路由专家张量留在CPU一侧,由原先的傲腾改为傲腾加内存盘,GPU则负责注意力计算。Kimi K3拥有896个专家,每个token激活16个,其中2个为共享专家,激活参数约1040亿,全部参数以16位精度存放约需5.6TB空间。

这名玩家此前预估GPU加速后速度在每秒2到4个token之间,实测结果落在预期区间。其表示后续仍有优化空间,包括针对张量选择量化精度的定制量化方案。

编辑:林一舟

THE END