LG U+ 明年进军 AI Token 业务

IT时代网11月15日消息,韩国电信运营商 LG U+ 将于明年进军 AI Token 业务,利用自主研发的 Token 优化技术,帮助企业降低 AI 转型(AX)成本。

这项服务包含三项技术:用于设计 AI Agent 任务执行路径的 Harness Engineering、根据问题类型分配模型的智能路由,以及为优化推理过程而采用异构半导体的芯片组合。

LG U+ 将减少 AI Agent 执行任务时不必要的重复搜索和验证,并根据任务难度匹配最合适的模型。结合模型轻量化和推理技术,其自研端侧 AI 模型在体积缩小三分之一的情况下,性能仍达到通用云端模型的 95% 以上。通过让小模型快速生成答案、再由大模型进行验证,Token 生成速度提升两倍以上。

基础设施方面,LG U+ 采用芯片组合策略,把英伟达、AMD GPU 与韩国本土企业 FuriosaAI 的神经网络处理器(NPU)结合使用,分别处理问题分析(Prefill)和答案生成(Decode)。将需要大规模计算的任务与对内存带宽要求较高的任务分开处理,可降低基础设施成本。

LG U+ 将同时采用与合作伙伴联合提供服务和自主建设两种方式,从明年开始全面进军 B2B AI Token 市场。随着 LG U+ 加入,韩国三大电信运营商将全部进入 Token 经济领域。此前,本站曾报道过运营商按 Token 售卖 AI 用量。

注:本文配图由AI生成。本文综合自IT之家等,文中包含AI辅助创作的内容。

编辑:刘宁

THE END