研究：AI分词器使部分语言Token消耗相差最高17倍

CLEAR研究联盟发布报告称，主流AI模型的分词器明显针对英语及高资源语言优化，导致部分非英语语言处理相同内容时消耗更多Token。报告举例称，同一句话用英语需要13个Token，马拉雅拉姆语需要26个，阿姆哈拉语则需要78个；研究覆盖约200种语言，发现不同语言的Token消耗差距最高达17倍。 报告指出，Token消耗增加会推高用户使用成本、增加响应延迟，并压缩有效上下文容量。