谷歌拆退役服务器回收DDR4内存

IT时代网9月3日消息，据Wccftech报道，DRAM领域的供应持续吃紧，迫使AI服务商各出奇招，只为抢购极度紧缺的内存资源。

谷歌供应链基础设施高级总监尼基尔·切里安（Nikhil Cherian）近日出席峰会论坛时透露，人工智能产业已迅速由“算力受限”转变为“内存受限”。在单台典型的AI服务器中，高性能内存占其物料清单的成本比例已高达约75%。

切里安说，为了突破内存瓶颈，谷歌正同时从软件和硬件两端协同发力。硬件这一侧的做法相当直接——拆解退役服务器，回收其中尚具利用价值的元器件，由此构建出一套内部循环利用的供应链体系。

某些应用场景下，谷歌似乎已被迫妥协：重新采用规格较旧的DDR4内存模组，替代新型AI服务器原本规划的DDR5模组。为此谷歌设计了专用的硬件转接卡，让DDR4等上一代内存方案能够接入新一代AI服务器。切里安坦言，把这批退役服务器调回机房正是有意为之，目的就是拆解并回收其中的DDR4内存模组。

与AI推理相关的存储体系另有安排。为模型推理任务做针对性优化的TPU8i芯片采用专用分层存储体系，在整机层面依托高速DDR5内存体系结构，专门负责数据预处理等任务，每颗TPU 8i芯片还搭载288GB的HBM3e高带宽内存。

软件层面的优化也在同步推进。谷歌持续调整底层函数库、模型架构以及KV缓存压缩算法，竭力降低单位算力下的内存开销。

注：本文综合自IT之家等，文中包含AI辅助创作的内容。