研究发现非英语的 token 成本更高

Coalition for Language Equity in AI Research 研究发现，AI 模型处理非英语提示所需的 token 量远超英语，小语种用户面临更高成本。最昂贵语言的 token 数量是最便宜语言的 1.5-5 倍，扩展至 200 种语言时差距达 17 倍。token 税还导致延迟增加和上下文容量降低，尤其影响计算资源有限地区。