“小号”美国最强开源模型:Inkling-Small 登场,约 1/4 规模提供相近 AI 性能

浏览11次 点赞0次 收藏0次

7 月 31 日消息,Thinking Machines Lab 昨日(7 月 30 日)发布博文,宣布推出 Inkling-Small 模型,其性能媲美 Inkling,但规模降低至约四分之一。

此前报道,Inkling 号称“美国最强开源 AI 模型”,采用混合专家(MoE)架构,总参数 975B、激活参数 41B,最长上下文 1M tokens。

而本次推出的 Inkling-Small 模型同样采用混合专家(MoE)架构,总参数为 276B,激活参数为 12B,规模约为 Inkling 的 1/4,在 NVIDIA GB300 NVL72 系统上训练。

与 Inkling 一样,Inkling-Small 支持音频和图像原生推理、可变思考强度、最高 1M token 上下文窗口,并在多类基准测试中保持较均衡表现。

Thinking Machines 已开放 Inkling-Small 完整权重,同时将其接入 Tinker 微调服务,并在 Tinker Playground 提供文本、图像和音频聊天体验。

Thinking Machines 称,Inkling-Small 以更低计算量取得接近 Inkling 的表现。在智能体工具使用、推理和指令遵循测试中,Inkling-Small 的效率高于 Inkling,并可与同等权重级别的其他模型竞争。

在推理和智能体任务中,Inkling-Small 匹配或超过 Inkling。Humanity’s Last Exam 测试中,Inkling-Small 得分 31.6%,高于 Inkling 的 29.7%。Thinking Machines 称,在每个思考预算下,Inkling-Small 的测试时计算曲线均高于 Inkling。

相关阅读:

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里查看更多信息!本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它往往能得到较好的回响。
评论
游客
游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。
最新资讯