新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍

AI 语言公平研究联盟发现，模型处理不同语言的 Token 消耗量最高相差 17 倍，小语种用户需支付更高费用且响应更慢。互联网常用语言的 Token 消耗量差距为 1.5 至 5 倍，分词器设计缺陷是主因。改善需提高数据质量和优化分词器，但费用差异影响将随 Token 价格下降而减轻。