本周 Hugging Face 公布了“SmolLM”小语言模型家族，包含 1.35 亿、3.6 亿及 17 亿参数模型，号称以高质量训练数据集训练而成，重点优化了 RAM 用量，在 6GB RAM 的 iPhone 15 上也能运行。团队先建立了包含多种内容、token 量总计 6000 亿的 SmolLM-Corpus 数据集来训练模型。基准测试中，SmolLM-135M 超越小于 2 亿参数的其他模型，SmolLM-360M 优于小于 5 亿参数的模型但某些项目逊于 MobileLLM-350M，SmolLM-1.7B 超越小于 20 亿参数的模型。
