3 张照片 → 全景 3D：苹果携手推出革命性 AI 模型 Matrix3D，简化 3D 重建过程

5 月 14 日消息，科技媒体 9to5Mac 昨日（5 月 13 日）发布博文，报道称苹果机器学习团队携手南京大学和香港科技大学，推出名为 Matrix3D 的 3D AI 模型，专注于从少数 2D 照片中重建真实世界的物体和场景。

用户只需提供几张图像，模型就能自动生成高质量的 3D 输出。这不仅简化了操作，还为应用领域打开了新机遇，进一步推动了 AI 领域的协作。

摄影测量技术利用照片进行测量，从而创建 3D 模型或地图。目前的流程依赖姿态估计和深度预测等多个独立模型来处理具体步骤，而这种分段方法容易导致低效和错误。

Matrix3D 则革新了这一体系。它一次性整合图像、相机参数（如角度和焦距）以及深度数据等所有过程，通过统一架构处理这些元素，减少了中间环节，让重建过程更流畅、更可靠。研究者指出，这种整合设计显著降低了人为错误的风险，并提高了整体性能。

在训练策略方面，研究者采用了掩码学习方法，类似于早期 Transformer 基础 AI 系统。这种技术借鉴了 ChatGPT 早期版本的训练理念，在训练过程中随机隐藏部分输入数据，迫使模型学会“填充空白”。这强化了模型的适应性。即使数据集较小或不完整，Matrix3D 也能有效学习关键特征。

测试结果证明了 Matrix3D 的强大表现。用户只需三张输入图像，该模型就能生成详细的 3D 重建，包括物体和整个环境，为沉浸式技术带来了实际应用潜力。附上演示视频如下：

例如，在 Apple Vision Pro 等头显设备中，Matrix3D 可以创建逼真的虚拟场景，提升用户体验。研究者表示，这种能力将加速元宇宙和增强现实的发展。

参考

• Matrix3D: Large Photogrammetry Model All-in-One