Rebellions NPU支撑SK电讯4项AI服务

IT时代网9月21日消息,据Chosun报道,韩国AI芯片企业Rebellions的NPU已扩展至SK电讯的商用服务,覆盖A.dot与AI客服中心等场景。目前该NPU为SK电讯处理的实时AI流量约合每天1400万次、超过40亿tokens。

Rebellions于21日宣布,其NPU已应用于SK电讯商用AI服务的四项关键功能。NPU是专为高效处理AI模型推理计算而设计的半导体。

两家公司自去年6月起测试在SK电讯主要AI服务中应用本土NPU。去年12月,双方首次将基于Rebellions AI半导体ATOM-Max的服务器商用化,用于A.dot通话摘要的“关系推估”功能。

今年6月起应用范围扩大,Rebellions的NPU陆续进入A.dot的“一句话摘要”、A.dot流式语音合成、AI客服中心的话后处理与检索系统,以及ScamVanguard的诱饵短信检测功能。

在对实时性要求较高的场景中,NPU同样发挥作用。A.dot的流式语音合成在文本生成的同时按句合成语音;ScamVanguard则借助NPU基础设施,在不中断服务的前提下替换并应用新增或变形的诈骗短信检测模型。

SK电讯按AI模型的规模与计算特性分配GPU与NPU,并运营将数十个NPU与数百张卡打包的“NPU Farm”,让多个内部服务共享同一套NPU资源。

Rebellions首席执行官朴成贤表示,过去一年是韩国本土NPU从“潜力”走向“可用基础设施”的转折点,后续将基于大规模商用运营经验拓展国内外AI服务基础。SK电讯核心平台负责人朴炳宽表示,公司按各AI服务任务的特性选择性使用并重新分配GPU与NPU,提升了全公司AI资源利用效率,并计划扩充NPU Farm以承接内外部AI算力需求。

编辑:林一舟

THE END