ControlNet 作者新作爆火:P 照片换背景不求人,AI 打光完美融入

2024-05-11 发布 · 浏览46次 · 点赞0次 · 收藏0次

ControlNet 作者新作,玩儿得人直呼过瘾,刚开源就揽星 1.2k。用于操纵图像照明效果IC-Light,全称 lmposing Consistent Light。

玩法很简单:

上传任意一张图,系统会自动分离人物等主体,选择光源位置,填上提示词,就能毫无破绽地融入新环境了!

赶紧来个王家卫式的打光:

不喜欢?

没关系,换成窗外打进来的自然光,也就分分钟的事。

目前,IC-Light 提供两类模型:文本条件重照明模型,还有背景条件模型

两种模型都需要以前景图像作为输入。

鉴于之前 Controlnet 太好玩儿,这次 IC-Light 一出现就颇受关注,还有网友迅速做出了 ComfyUI 插件。

(疑惑,大家这么拼,都不睡觉的吗??)

不管是期待值还是用后体验,网友给得都很高:

Nice!迫不及待要上手玩了嘻嘻嘻嘻。

谁能帮我把这图换个背景?

从远古 MCN 到贴吧再到现在小红书,各个时代,都不乏“谁能帮我换张背景”这种求助贴。

但热心网友的帮助,往往是这样子的:

就离谱。

不过说实在话,这种需求不仅存在于你我普通人之间,电商做商品海报,也常常有类似的需求。

有了 IC-Light,好像一切都变得简单起来。

上传主体原图 + 选择光源位置 + 提示词,完事儿。

来看效果 ——

这样一张佛像原图,加上提示词“佛像、细致的脸部、科幻 RGB 发光、赛博朋克”,再选择“光从左侧打来”。

就能得到一张崭新的成品:

哪怕是日常场景也是适用的。

最后出的效果肉眼看还是比较自然:

根据网友分享的测评,动漫场景也适用……

背后技术

如前所说,IC-Light 现在提供两类模型,两种模型都需要以前景图像作为输入。

一类是文本条件重照明模型

简单来说就是用户可以通过输入提示词来搞定生成。

比如输入“左侧光线”“月光”等,模型会通过这些提示词和初始潜变量,来生成符合要求和特征的图像。

另一类是背景条件模型

这种就更简单了,不需要复杂的提示词,模型结合背景提示信息,对前景的物体进行不同风格的光照变化。

而其背后的技术原理,是通过潜在空间的一致性,确保模型输出在不同光源组合下具有一致性,从而可以稳定地合成各种光照效果

具体如下 ——

在 HDR 空间中,所有照明的光线传输都彼此独立,不同光源的外观混合效果与多光源直接作用下的外观在数学上(也就是理想状态下)是一致的。

以上面这张图的灯光阶段为例,来自“外观混合”和“光源混合”的两个图像是一致的,(理想情况下,在 HDR 空间中数学上等效)。

因此,在训练重新照明模型时,研究人员在潜在空间中使用多层感知机(MLP)让不同光源的组合和传输具有一致性,并用来指导生成效果。

最终产生高度一致的重新光照效果。

由于模型使用了潜在扩散技术,因此可以在潜在空间内实现学习和重光照操作,从而在各种光照条件下产生高度一致的效果。

这些结果非常一致 —— 尽管在训练时,模型没有直接使用法线图数据,但可以将不同的重新光照合并为法线贴图。

看下面这张图,从左到右依次是输入、模型输出、重新照明、分割的阴影图像和合并的法线贴图。

感兴趣的小伙伴可以前往下面地址试玩儿哟~

GitHub 直通车:

  • https://github.com/lllyasviel/IC-Light?tab=readme-ov-file

本文来自微信公众号:量子位 (ID:QbitAI),作者:・衡宇

ControlNet 作者新作爆火:P 照片换背景不求人,AI 打光完美融入 - AI 资讯 - 资讯 - AI 中文社区

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里。本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它能得到比较好的回应。
评论

游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。