OpenAI披露用智能体工厂自动修复ChatGPT性能回归

IT时代网11月22日消息,OpenAI发文披露内部的Performance Factory系统,该系统用Codex智能体在云端自动排查并修复ChatGPT的性能回归。

OpenAI介绍,过去3个多月该系统累计追踪超过1700次自动化调查,定位超过600个性能根因,相当于每天约17次调查。此前工程师排查同类问题要人工比对指标、日志和调用链路,智能体介入后这类工作被大幅自动化。

系统由四部分组成:任务服务用配置文件定义工作流并跟踪状态;调度循环按任务进展分派Codex智能体;云端Codex可以访问代码仓库和指标、日志、调用链等观测工具;订阅机制让任务在等待代码审查或部署完成时暂停,事件到达后再唤醒继续推进。

率先落地的回归工作流按需调查、已定位根因、已提出修复、已解决四个阶段推进。为提高诊断准确率,OpenAI加入对抗性审查环节,由独立的审查会话尝试推翻已有诊断。人工抽查显示,智能体提出的100个根因建议中70%被评为准确。

OpenAI坦言修复比定位更难,智能体给出的改动有时过于复杂或引入新问题,同样需要审查制衡。团队还每天运行一个巡检智能体,把阻塞调查的工具故障转成修复任务,让系统具备自我修复能力。

下一步OpenAI计划让系统从告警触发的被动模式转向主动监控,利用已有的细粒度性能数据发现告警漏掉的回归和优化机会。

编辑:林一舟

THE END