律师12张二手V100自建AI集群

IT时代网11月21日消息,一位律师网友近日在Reddit社区发帖,斥资9450美元(约合63239元人民币)使用12张二手英伟达V100显卡搭建私人AI服务器,本地运行DeepSeek-V4.1-Flash,集群最高吞吐量达到每秒184个词元。

硬件部分,该网友使用12张英伟达Tesla V100 SXM2 32GB显卡,通过NVLink与PCIe组成可协同推理的本地AI集群,整套硬件采购价约9450美元。系统采用3个流水线阶段、每阶段4卡张量并行的结构,运行DeepSeek-V4.1-Flash并采用4-bit NVFP4量化,每个专家被压缩至约15360个参数,使12张V100能分别承载模型中的专家分片。

性能测试显示,在单请求、单流场景下,该服务器的代码生成速度比已公开的4台英伟达DGX Spark组合快约15%至45%,普通文本生成速度也更高,128K文件读取约需28秒。

整套系统成本约9450美元,约为三台DGX Spark组合价格的一半。代价是功耗最高可达约2100瓦,且噪音较大,并不适合普通办公环境。

注:本文配图由AI生成。本文综合自IT之家等,文中包含AI辅助创作的内容。

编辑:林一舟

THE END