OpenAI为GPT-6升级提示缓存能力

IT时代网9月23日消息，OpenAI宣布为GPT-6系列启用改进后的提示缓存系统，在默认状态下提供更高的缓存命中率，并配套上线监控与诊断工具，让长时间运行的持久智能体跑得更快、也更省钱。

GPT-6支持持久智能体连续工作数小时，处理从代码库重构到产出经过充分调研的文档与演示文稿等任务。支撑这些智能体的应用会发出一连串彼此承接的API请求，往往沿用前几轮相同的指令、工具定义和上下文。OpenAI会把这部分共享上下文缓存下来，在多轮请求之间复用计算，既降低响应时延，也为开发者提供最高90%的缓存输入token折扣。

此次更新后，在30分钟窗口内被复用的合格共享前缀同样可以享受缓存折扣。同时上线的提示缓存仪表盘会展示应用输入中有多少比例来自缓存，支持按时间跟踪命中率，并通过输入构成图表对比已缓存与未缓存的token，帮助开发者发现命中率下滑，评估应用改动对缓存表现的影响。

遇到预期之外的缓存未命中时，提示缓存诊断工具可以把当前请求与近期的一次响应做对比，定位是模型、工具、设置还是输入发生变化导致无法复用，并给出受影响的token估算，用于判断影响范围和优化方向。

在具体优化手段上，显式缓存断点允许开发者自行选择要复用哪些提示前缀，更新后的提示缓存指南说明了其用法、缓存前缀的有效时长，以及工具和输入的变动会如何影响复用。此外，在GPT-6模型上，开发者现在可以在不同响应之间调整推理强度而不破坏缓存——通过追加配置更新项来提升困难任务的推理强度或降低常规追问的强度，同时保持请求级别的推理强度设置不变。

编辑：林一舟