研究称AI代理令牌消耗已达人类五倍

IT时代网10月3日消息,Futurum Group首席执行官丹尼尔·纽曼援引一组数据指出,当前AI被AI使用的量已经达到人类直接使用量的五倍,而且这一比例还将加速升至十倍以上。数据显示,8月份AI代理消耗了7.3万亿个token,人类直接使用为1.4万亿个,代理用量在六个月前首次超过人类。

值得注意的是,超过85%的代理token来自缓存提示,也就是说代理大部分时间在重读已经看过的内容,而非获取新信息。这推高了KV缓存需求,给本就紧张的内存供应带来更大压力。

编辑:林一舟

THE END