谷歌第七代TPU实测推理性价比领先英伟达

IT时代网9月11日消息，据行业分析机构最新发布的报告，谷歌第七代TPU Ironwood在每美元推理性能上最高领先英伟达B200达50%，对B300领先96%。

测试采用Qwen3.5 397B FP8模型，FP8对FP8公平对比，输入8000 token、输出1000 token。在每秒100 token单用户吞吐基准下，TPU每百万token成本仅0.181美元，B200为0.222美元，B300高达0.276美元，TPU分别便宜19%和34%；若将中位响应时间限制在20秒，TPU成本降至0.098美元。

TPU的成本优势并非来自峰值算力。实测中TPU物理吞吐仅领先约5%，但每小时租赁成本远低于GPU，叠加价格差后放大为50%的每美元性能领先。更受关注的是软件生态的松动：谷歌推出TorchTPU，利用PyTorch的PrivateUse1后端接口，让TPU直接成为原生Torch运算设备，开发者只需改动一行代码即可在TPU上运行。

此外，Ironwood单芯片配备192GB HBM，是上代Trillium的6倍，可容纳更大KV Cache，矩阵单元采用256×256脉动阵列，原生支持FP8运算。谷歌自去年起开放TPU直接销售，据悉一家头部AI企业已采购超100万颗TPU，到2029年将超越DeepMind成为全球最大TPU单一用户。TorchTPU预计10月PyTorch大会期间开源，届时TPU对开发者的迁移门槛将降至一行代码。

注：本文中包含AI辅助创作的内容。

编辑：林一舟