DeepSeek V4.1 Flash量化版可本地部署

IT时代网10月31日消息，模型量化优化团队 Unsloth 发布了面向 DeepSeek V4.1 Flash-1017 本地部署的 Dynamic V3.1 量化方案，称该方案可在最低 64GB 内存的设备上完成本地部署，相比前一版本性能更强、任务完成更快、输出更短。

Unsloth 公布的数据显示，Dynamic V3.1 在 GPQA Diamond、AIME25、LiveCodeBench v6、MMLU-Pro、Aider 等基准测试中排名第一；其 Unsloth Desktop 搭配 llama.cpp 的组合，相比其他专注 CPU、显存和 n-gram 优化的仓库，DeepSeek V4.1 推理速度约快 3 倍。

需要说明的是，Unsloth 的文章只提到可在 64GB 内存设备上运行，并未给出该配置下的具体测试数据。已知最小的 IQ1_S 量化版本仍需 122.4GB 内存，考虑到该模型的架构，其 1950 亿参数的 n-gram 存储可用固态硬盘承担，但对运行速度不利。

量化方法的详细介绍与部署步骤已在 Unsloth 官网公布，开发者可按文档自行搭建推理环境。

注：本文中包含AI辅助创作的内容。

编辑：林一舟