Copyright © 2022-2025 aizws.net · 网站版本: v1.2.6·内部版本: v1.25.1·
页面加载耗时 0.00 毫秒·物理内存 143.0MB ·虚拟内存 1764.6MB
欢迎来到 AI 中文社区(简称 AI 中文社),这里是学习交流 AI 人工智能技术的中文社区。 为了更好的体验,本站推荐使用 Chrome 浏览器。
9 月 30 日消息,DeepSeek 昨日正式发布了 DeepSeek-V3.2-Exp 模型,这是一个实验性(Experimental)的版本。注意到,寒武纪当天宣布,已同步实现对深度求索公司最新模型 DeepSeek-V3.2-Exp 的适配,并开源大模型推理引擎 vLLM-MLU 源代码。
寒武纪称,一直高度重视大模型软件生态建设,支持以 DeepSeek 为代表的所有主流开源大模型。借助于长期活跃的生态建设和技术积累,寒武纪得以快速实现对 DeepSeek-V3.2-Exp 这一全新实验性模型架构的 day 0 适配和优化。
针对本次的 DeepSeek-V3.2-Exp 新模型架构,寒武纪通过 Triton 算子开发实现了快速适配,利用 BangC 融合算子开发实现了极致性能优化,并基于计算与通信的并行策略,再次达成了业界领先的计算效率水平。依托 DeepSeek-V3.2-Exp 带来的全新 DeepSeek Sparse Attention 机制,叠加寒武纪的极致计算效率,可大幅降低长序列场景下的训推成本,共同为客户提供极具竞争力的软硬件解决方案。
vLLM-MLU DeepSeek-V3.2-Exp 适配的源码:
声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里。