英伟达发布 Lyra 2.0:单张照片 AI 生成 90 米 3D 场景,仿真训练机器人提速
浏览11次
点赞0次
收藏0次
感谢网友 Domado 的线索投递!
4 月 17 日消息,科技媒体 The Decoder 昨日(4 月 16 日)发布博文,报道称英伟达研究人员推出 Lyra 2.0 系统,可从单张照片生成跨度约 90 米的连贯 3D 环境,解决现有模型在长距离漫游中的画面扭曲与遗忘难题。
当前 AI 生成 3D 场景的核心痛点之一,是虚拟摄像机长距离移动后,画面会出现色彩与结构扭曲,返回已探索区域时模型常重新构建环境。

英伟达团队为提高机器人仿真训练质量,针对视频模型离开视野即遗忘已见区域,以及逐步生成过程中误差累积导致严重扭曲两大挑战,发布 Lyra 2.0 系统,仅需单张照片即可生成可实时漫游的 3D 场景。

Lyra 2.0 通过存储每一帧的 3D 几何数据解决记忆问题,当摄像机重返旧地后,系统调取历史空间信息作为参考,避免重复生成。针对误差累积,研究团队在训练中让模型暴露于自身有缺陷的输出,让其学会识别并纠正质量下降,而非传递错误。

基准测试显示,Lyra 2.0 在图像质量、风格一致性和摄像机控制等几乎所有指标上击败 GEN3C、Yume-1.5、CaM 等 6 种竞品,其 Fast 版本在质量相当的情况下,视频生成速度提升约 13 倍。

生成的 3D 场景支持交互式探索,并可导出为网格格式用于 Nvidia Isaac Sim 等物理引擎。这意味着训练机器人无需采集真实世界 3D 数据,可在完全生成的虚拟环境中训练。
附上参考地址
声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里。
AI 中文社
