Meta 开源 MobileLLM-R1 系列小语言 AI 模型:参数量不到 10 亿、专攻数学编程科学问题

2025-09-22 发布 · 浏览25次 · 点赞0次 · 收藏0次

9 月 22 日消息,Meta 现已公布了 MobileLLM-R1 系列小语言模型,分别提供 1.4 亿、3.6 亿和 9.5 亿不同参数版本,强调能够在本地移动平台等轻量级设备上运行

Meta 表示,MobileLLM-R1 并不是面向聊天机器人的通用模型,而是经过监督式微调(SFT)专门训练,主要用于解决数学、编程(如 Python、C++)和科学类问题,以最大规模的 MobileLLM-R1 950M 为例,其预训练数据仅使用了约 2TB 高质量 token,总训练数据量也不到 5TB,但表现依然出色。在 MATH、GSM8K、MMLU、LiveCodeBench 等多项基准测试中,成绩超过了使用 36TB token 数据训练的 Qwen 3-0.6B。

在对比现有开源小模型时,MobileLLM-R1 950M 在 MATH 测试中的准确率是 Olmo 1.24B 的 5 倍,也是 SmolLM 1.7B 的 2 倍。在编程任务中,其表现同样优于 Olmo 1.24B 和 SmolLM 1.7B。

目前,开发者可以通过 vLLM 推理引擎运行 MobileLLM-R1,只需在 ModelRegistry 中登记模型架构 Llama4ForCausalLM 即可。该系列模型已以 Apache 2.0 协议开源,并发布在 Hugging Face 平台(点此访问)。

Meta 开源 MobileLLM-R1 系列小语言 AI 模型:参数量不到 10 亿、专攻数学编程科学问题 - AI 资讯 - 资讯 - AI 中文社区

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里。本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它能得到比较好的回应。
评论

游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。