AI模型多语言Token消耗差异研究

1. 12:25
   IT之家

   新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍

   AI 语言公平研究联盟发现，模型处理不同语言的 Token 消耗量最高相差 17 倍，小语种用户需支付更高费用且响应更慢。互联网常用语言的 Token 消耗量差距为 1.5 至 5 倍，分词器设计缺陷是主因。改善需提高数据质量和优化分词器，但费用差异影响将随 Token 价格下降而减轻。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。