淘宝MNN团队开源0.3B端侧模型

11月6日，淘宝MNN团队开源约3亿参数的端侧模型MNN-Pocket-0.3B。该模型可在iPhone 18 Pro上完全离线运行，平均解码速度约350 token/s，INT4部署文件大小为173 MB。 团队目标是将峰值内存控制在300 MB以下、解码速度提升至每秒200 token以上。模型采用28层结构，词表由151K精简至64K；团队按预训练、后训练和端侧部署开源了多个版本。