Day0 适配:阿里云灵骏真武 M890 超节点实例现已支持月之暗面 Kimi K3 大模型

浏览13次 点赞0次 收藏0次

7 月 28 日消息,阿里云今天宣布,灵骏真武 M890 超节点实例成功适配 2.8 万亿参数大模型 Kimi K3,基于芯片、推理平台和模型的联合优化,有效提升模型推理效率。

了解到,Kimi K3 是月之暗面最新的旗舰模型,参数规模达到 2.8 万亿,采用混合专家(MoE)架构。

而灵骏真武超节点实例基于平头哥训推一体 AI 芯片真武 M890 打造,具备 ICN Switch 1.0 互联芯片,可让 64 张 M890 实现 800 GB/s 的 All-to-All 高速互联,显存规模达 9TB,可将万亿级 MoE 模型的 EP 专家并行通信流量,跑在一个高带宽通信域内,保证 Token(词元)生成效率。

同时,阿里云、平头哥和 Kimi 团队从子、软件栈等层面进行深度协同,成功让 kimi K3 模型实现 Day0 适配。真武芯片的 T-Head SAIL 软件栈可让 Kimi 自研 Mooncake 推理框架实现“开箱即跑”,M890 的 Triton 支持也让大量基于 Triton 编写的自定义算子无需重写,大幅降低适配工作量。

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里查看更多信息!本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它往往能得到较好的回响。
评论
游客
游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。
最新资讯