MIT研究让AI模型直接共享内部计算
IT时代网11月3日消息,多个 AI 模型协同工作时,交接环节需要时间与成本:一个模型要读数据并总结,下一个模型再重新读取。为降低这一成本,研究人员提出让 AI 直接把内部计算结果传给其他模型的技术。
这项名为 SwaT 的研究利用 AI 处理数据时存储的 KV 缓存计算信息。由于不同模型内部数据表示方式不同,研究者在两个模型之间接入转换程序,让接收方无需从头重新读取数据即可利用前一模型的计算结果。
研究在六个模型家族的 12 个模型上测试,信息压缩与文本摘要结合时平均准确率约提升 40%,发送方计算时间与接收方启动响应时间各降至原来的约四分之一。
实验还让视觉模型将处理照片的内部计算传给纯文本模型,后者在未直接看到照片的情况下更准确地回答了照片相关问题。该技术目前处于研究阶段,每种模型组合需要单独训练转换器。

注:本文配图由AI生成,文中包含AI辅助创作的内容。
编辑:林一舟
THE END