Meta 发布 Sapiens 视觉模型,让 AI 分析和理解图片 / 视频中人类动作

2024-08-25 发布 · 浏览195次 · 点赞0次 · 收藏0次

8 月 24 日消息,Meta Reality 实验室最新推出了名为 Sapiens 的 AI 视觉模型,适用于二维姿势预估、身体部位分割、深度估计和表面法线预测 4 种以人为中心的基本视觉任务。

这些模型的参数数量各不相同,从 3 亿到 20 亿不等。它们采用视觉转换器架构,任务共享相同的编码器,而每个任务有不同的解码器头。

  • 二维姿势预估:这项任务包括检测和定位二维图像中人体的关键点。这些关键点通常与肘、膝和肩等关节相对应,有助于了解人的姿势和动作。

  • 身体部位分割:这项任务将图像分割成不同的身体部位,如头部、躯干、手臂和腿部。图像中的每个像素都被归类为属于特定的身体部位,这对虚拟试穿和医学成像等应用非常有用。

  • 深度估计:这项任务是估算图像中每个像素与摄像头的距离,从而有效地从二维图像中生成三维图像。这对增强现实和自动驾驶等应用至关重要,因为在这些应用中,了解空间布局非常重要。

  • 表面法线预测:这项任务是预测图像中表面的方向。每个像素都会分配一个法向量,表示表面朝向的方向。这些信息对于三维重建和了解场景中物体的几何形状非常有价值。

Meta 公司表示该模型可原生支持 1K 高分辨率推理,并且非常容易针对个别任务进行调整,只需在超过 3 亿张野生人类图像上对模型进行预训练即可。

即使在标注数据稀缺或完全是合成数据的情况下,所生成的模型也能对野生数据表现出卓越的泛化能力。

附上参考地址

Meta 发布 Sapiens 视觉模型,让 AI 分析和理解图片 / 视频中人类动作 - AI 资讯 - 资讯 - AI 中文社区

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里。本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它能得到比较好的回应。
评论

游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。