OpenAI公布Jalapeno首批测试结果推理效率领先

IT时代网8月27日消息，OpenAI于8月25日公布其首款自研推理芯片Jalapeño的首批测试结果。数据显示，这块芯片能在相同功耗下完成更多AI推理工作，同时让响应更快：用一套架构同时拿到更高吞吐与更低延迟，而不必像现有硬件那样在两者间做取舍。

在GPT-OSS 120B、DeepSeek R1与Kimi K2.5 1T三款公开模型上，Jalapeño在峰值吞吐下的每瓦性能达到对比系统的1.5至1.9倍，端到端延迟降低1.7至3.6倍；对高度交互的工作负载，性能提升达到2.1至4.1倍。Jalapeño额定功率为700瓦，但在所测负载上的实测持续功耗维持在550瓦或更低。在最大的公开模型Kimi上，其每瓦峰值性能约为对比系统的1.5倍，端到端延迟降低约3.4倍。

OpenAI介绍，Jalapeño从立项之初就围绕真实大语言模型负载来设计芯片、内存、网络、软件与整机柜系统，通过把模型状态（包括生成回答时使用的KV缓存）就近放置、按需激活对应的计算/内存/网络组合，来尽量减少数据搬运与通信等待。更有意思的是，AI也直接参与了这颗芯片的研发：团队借助AI探索实现方案、缩短设计—测量—验证循环，从初始设计到流片仅用9个月；用Codex配合GPT-Astra，团队在两个月内就把三款原本不在量产计划内的开源权重模型优化到了高性能。

OpenAI计划于年底前把Jalapeño接入自身算力基础设施。它只是多代路线图的第一代——二代已深度研发，三代也在成形；与此同时，公司仍会广泛部署来自英伟达等合作伙伴的加速器，用于训练与推理。

注：本文综合自OpenAI等，文中包含AI辅助创作的内容。