基于全国产化算力训练,讯飞星火语音基座大模型 Spark-Audio-1.0-Preview 上线

浏览11次 点赞0次 收藏0次

9 月 16 日消息,科大讯飞今日宣布 Spark-Audio-1.0-Preview 上线,这是一款基于全国产化算力训练的语音基座大模型。

过去,大模型处理音频大多采用级联方案:先把语音转成文字,再交给大模型理解。这种做法有两个明显短板:

  • 信息丢失。文字只能记录说了什么,会丢掉语音里自带的语气、情绪,还有背景环境音等关键信息,导致模型对场景的判断不完整,自然也会影响到最后的结果。

  • 链路割裂。这套系统把语音转写、声纹识别、语音翻译等能力拆成独立模块串联运行,模块之间存在断点,不仅容易累积错误,在使用体验上也会出现延迟、卡顿。

据了解,语音基座大模型就解决了上面的这些问题:它不再只做语音转文字,而是直接理解语音。语音基座大模型一次性听懂人声、环境音、音乐等等,而且还能理解声音里的语义、情绪和场景。

图片

图片

此次首发的 Spark-Audio-1.0-Preview 采用 0.65B(Dense 结构)的音频编码器,搭配 30B-A3B(MoE 结构)的大语言模型,使用了 1300 万小时音频以及大量文本数据,基于纯国产算力集群训练完成,是地道的国产语音基座大模型;在同一个模型中可输入文本和语音两个模态,支持语音转写、多语言翻译、多方言识别、环境音识别、说话人识别、情感分析以及复杂的音频问答等任务,让机器从“听清”进一步走向“听懂”。

官方称,Spark-Audio-1.0-Preview 在各项语音评测任务上效果整体相当、部分超过,尤其在复杂场景高噪声、小声说等偏真实应用类任务上明显领先;与尺寸更大的闭源语音基座模型相比,Spark-Audio-1.0-Preview 的表现也十分接近。与讯飞星火大模型的 1+N 体系类似,在语音基座大模型上也可进行微调,开发语音识别、语音同传、语音交互等专用模型或者系统,在相关语音业务中落地。

Spark-Audio-1.0-Preview 可支持 99 种语言及 202 种方言的识别。在多项任务中,与同尺寸的 Qwen3.5-omni-flash(35B-A3B)相比在平均效果上表现出了多语言、多方言语音识别上的优势;与尺寸高一个数量级的 Qwen3.5-omni-plus 效果接近。

在 Fleurs、Kespeech、LibriSpeech 等中英文、多语言、多方言语音识别评测任务中,Spark-Audio-1.0-Preview 得分高于 Gemini-3.1 Pro;Fleurs-中文测试集中,Spark-Audio-1.0-Preview 取得了 SOTA。

面向更实际的应用场景,Spark-Audio-1.0-Preview 在复杂场景的高噪声、小音量等复杂条件下的语音识别评测任务中也有较为明显的领先优势。

此次发布的 Spark-Audio-1.0-Preview 在通用知识、数学与代码等任务上没有出现明显降智,同时在指令遵循、对话、音频理解等任务上仍有进步追赶空间。下一步,我们将在巩固、加强优势的同时补齐短板,交出更好的成绩。

图片

公开测试集-音频

图片

自建测试集-音频

图片

自建测试集-音频-复杂场景

图片

公开测试集-文本

* 注:测试集中 ASR(语音识别)相关任务使用 WER / CER 作为评价指标,数值越低表示效果越好;S2TT 语音翻译任务使用 BLEU 分作为评价指标;其他任务均使用准确率作为指标,数值越高表示效果越好。

目前,Spark-Audio-1.0-Preview 已正式开放体验,API 后续将上线讯飞开放平台。

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里查看更多信息!本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它往往能得到较好的回响。
评论
游客
游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。
最新资讯