LG Uplus开发token优化 单GPU处理量提4倍

IT时代网10月2日消息，据Chosun报道，韩国运营商LG Uplus宣布与AI模型优化专业公司OptAI达成合作，联合开发token优化技术，目标是降低AI运行时的GPU与电力消耗，提升处理效率。token是AI理解用户请求、生成响应时处理数据的基本单位。

双方此前已基于LG AI研究院的Exaone小语言模型开展轻量化合作，让模型能够在智能手机端的神经处理单元（NPU）上运行，在达到与传统CPU方案相近性能的同时，功耗降低78%、模型体积缩小82%。

在此基础之上，两家公司正将联合研究扩展至服务器GPU环境，并已取得关键进展：通过优化AI生成响应所需的计算，单块GPU可处理的token数量最多提升至现有方法的4倍。10月1日，双方还共同举办研讨会，分享AI运行效率技术的最新研究趋势与产业应用，讨论落地策略。

LG Uplus首席技术官李相烨表示，AI竞争力不仅取决于性能，还取决于资源处理token的效率，公司将通过与更多伙伴合作扩大token优化技术研究。在算力成本高企的背景下，运营商系与专业优化公司的组合，为AI推理降本提供了一条工程化路径。

编辑：林一舟