研究称AI处理不同语种成本差17倍

IT时代网10月30日消息，使用人数较少的语言的用户，使用AI服务时，可能需要支付比英语及其他主流语言用户更高的费用。人工智能语言公平研究联盟上月发布的一项研究发现，AI模型处理不同语言时，消耗的Token（词元）数量可能相差悬殊。Token是AI模型处理文本等数据的基本单位，由分词器将文本、图像或音频拆分而成。研究人员将不同语言因此产生的额外成本称为隐性的”分词器税”，网络内容较少的语言尤其容易受到影响。研究发现，即使是互联网上最常用的20种语言，Token消耗量也存在明显差异，最高是最低的1.5至5倍。如果将测试范围扩大到200种语言，差距还会进一步扩大。在其中一个AI模型中，不同语言的Token消耗量最多相差17倍。”分词器税”带来的问题不只是费用上涨。消耗的Token越多，AI响应就越慢，能够有效处理的上下文内容也越少。计算资源和网络条件本就有限的地区受到的影响尤其严重。有风险投资人士指出，使用非英语语言时，同样的上下文容量能够容纳的文档和对话记录更少，AI生成回答也更加费力。语言处理效率应当像准确性、速度和可靠性一样，成为AI产品的基本要求。研究者希望所有主要AI实验室都能公布各语言的评估结果，并承诺改善支持最薄弱的语言。

注：本文配图由AI生成。本文综合自IT之家等，文中包含AI辅助创作的内容。

编辑：林一舟