英伟达披露GPT-6 Astra超快模式细节 生成提速最高8倍

IT时代网10月2日消息,英伟达官方博客披露,OpenAI 的 GPT-6 Astra Ultrafast 超快推理模式运行在英伟达 Blackwell GPU 之上,借助持续推理优化实现最高8倍于标准模式的输出生成速度,现已通过 OpenAI API 面向开发者开放,并向符合条件的 ChatGPT Work 与 Codex 用户开放。

更快的响应主要惠及反复迭代的智能体工作流:编程智能体写代码、调用工具、检查结果再决定下一步,Ultrafast 模式可缩短编辑-测试-调试循环耗时,减少工具调用之间的等待,让交互式应用更跟手。

性能提升并非止步于部署时刻。OpenAI 正用自家模型优化运行在英伟达GPU上的推理软件,利用平台可编程性持续测试并落地改进。OpenAI 推理负责人 Philippe Tillet 表示,英伟达在工具链与文档上的投入使其模型特别擅长为 Blackwell 与 Rubin GPU 编程,能把这类知识转化为高性能算子;OpenAI 计算技术负责人 Uday Ruddarraju 称,内部模型优化推理加上平台可编程性,共同支撑了 Ultrafast 背后的加速。

此前,本站曾报道过曝OpenAI准备扩大Ultrafast API开放范围。可编程的英伟达平台还允许训练、推理与强化学习复用同一套基础设施,团队可按需求变化灵活调配算力。

编辑:林一舟

THE END