英伟达开源 Audio2Face 模型：AI 实时生成面部动画，多语言口型同步

9 月 25 日消息，英伟达昨日（9 月 24 日）发布博文，宣布开源生成式 AI 面部动画模型 Audio2Face，涵盖模型、软件开发工具包（SDK）及完整训练框架，希望能在游戏和 3D 应用中，加速开发 AI 智能虚拟角色。

该技术通过分析音频中的音素、语调等声学特征，实时驱动虚拟角色面部动作，生成精准的口型同步和自然的情感表情，可广泛应用于游戏、影视制作和客户服务等领域。

Audio2Face 支持两种运行模式：预录制音频的离线渲染和动态 AI 角色的实时流式处理。援引博文介绍，英伟达此次开源了多个核心组件：

• Audio2Face SDK

• 适用于 Autodesk Maya 的 2.0 版本本地执行插件

• Unreal Engine 5.5 及以上版本的 2.5 插件

• 回归模型（v2.2）

• 扩散模型（v3.0）

• 开源训练框架支持开发者使用自有数据微调模型，以适应特定应用场景。

该技术已获行业广泛采用。游戏开发商 Survios 在《异形：侠盗入侵进化版》（Alien: Rogue Incursion Evolved Edition）中集成 Audio2Face，大幅简化了口型同步与面部捕捉流程。

Farm 51 工作室也将其用于《切尔诺贝利人 2：禁区》（Chernobylite 2: Exclusion Zone），通过音频直接生成细腻面部动画，节省大量制作时间，提升角色真实感和沉浸体验。创新总监 Wojciech Pazdur 称此为“革命性突破”。