阿里云灵骏真武 M890 适配 Qwen3.8,成国内首个成功运行超 2 万亿参数大模型的超节点

浏览15次 点赞0次 收藏0次
感谢网友 不一样的体验 的线索投递!

7 月 23 日消息,今日,阿里云宣布灵骏真武 M890 超节点实例已成功适配 Qwen3.8,并上线阿里云百炼平台提供模型推理服务,这是国内首个成功运行超 2 万亿参数大模型的超节点。

据介绍,Qwen3.8 是阿里最新旗舰模型,参数规模高达 2.4 万亿,跑通这一规模的模型需要将参数分散到几十张甚至上百张高速互联的 GPU 卡,让万亿参数“跑得又稳又快”。然而,普通 AI 集群因通信带宽的局限,无法满足高吞吐、低延迟、高并发的需求。

注意到,真武 M890 是平头哥新一代训推一体 AI 芯片,原生支持 FP32 到 FP4 等多种数据精度,可应用于高精度训练、低精度和超低精度推理的全场景。灵骏真武 M890 超节点实例通过 ICN Switch 1.0 互联芯片,让 64 张真武 M890 实现了 800GB/s 的高速互联,显存规模达到 9TB,单实例即可支撑大规模 2 万亿参数 MoE 模型的专家并行需求。

此外,阿里还从芯片到云平台层面实现了与 Qwen 模型的全链路优化,不仅可以丝滑跑通 Qwen3.8,还能显著提升推理效率、降低推理成本。实测数据显示,通过算子优化和软硬件架构协同,该超节点实例在 Agentic 推理场景中最多可实现 1.5 倍的推理性能提升

相关阅读:

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里查看更多信息!本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它往往能得到较好的回响。
评论
游客
游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。
最新资讯