Total Pageviews

Saturday, 23 December 2023

英伟达的AI图像修复技术 Inpainting,毫无PS痕迹?


想必大家都很熟悉「Nvidia」显卡了,不知道你们抢到 3080 显卡没有,抢到了麻烦送一张给我吧。大家印象中「Nvidia」就是显卡芯片厂商,其实「Nvidia」在图形图像视觉研究领域也有非常多的重磅技术。

例如很早前雷锋哥就看过「Nvidia」演示通过 AI 技术并结合游戏引擎实时生成的虚拟视频,从下面的场景可以看到 AI 通过草图(图1),然后自动生成真实的场景,这里雷锋哥有个大胆想法。

不过「Nvidia」也表示了:这项技术处于早期阶段,随着人工智能技术的不断演进成熟,可能需要几十年的时间才能普及到消费级应用场景中。

简单说就是需要一些时间给 AI 去训练算法,不管如何雷锋哥相信以后这项技术会用在很多领域,例如 AI 生成的虚拟电影(正经的那种),游戏场景生成等,可以大幅度减少制作成本。

「Nvidia」除了这项 AI 视频生成技术外,还推出了 AI 图像深度学习修复技术「Nvidia Image Inpainting」可以修复损坏的照片,例如老旧照片因存放时间久的关系,出现腐蚀情况,AI 会根据照片内容填充损坏的地方。

雷锋哥也看了很多相关报道,标题是这样的:"震惊!英伟达用深度学习做图像修复,毫无ps痕迹",雷锋哥带着好奇心,当然要来体验下这个功能,是否真的有那么神奇。

「Nvidia」之前也发过「Nvidia Image Inpainting」的视频演示,可以看下面的对比图,使用「PhotoShop」修补的照片直接糊掉了,而「Nvidia Image Inpainting」比较接近原始图片,这里很多人又有大胆想法了吧!

「Nvidia」表示除了可以修复照片外,还可以对人物的皱纹、胡须、发型等进行修改,有美颜内味了。

你也可以用来移除照片中不想要的元素,例如街拍风景啥的,混入了陌生人,你想要去掉人物,就可以利用「Nvidia Image Inpainting」识别去除。

Inpainting体验

目前「Nvidia Image Inpainting」可以供给大家免费使用,只有在线版,会利用「Nvidia」的服务器帮你运算处理照片,所以对电脑配置要求基本无要求。

图片上传格式只支持 PNG 和 JPG,一般常见也这两种了,如果你是其它图片格式转换下格式就行了。点击 "Let's Get Started" 然后上传图片。下面雷锋哥随便找了一张老照片作为测试。

用鼠标涂抹照片需要修复的位置,Brush Width 支持调整笔画大小,大概涂抹就可以了,AI 会自动识别到。

这是第一次修复的效果,可能这张老照片损坏的面积太大了,AI 没办法很好的识别到周边内容,所以修补的效果并不太好。(AI:你TM是在为难我)

进行第二次修复,脸部修补效果好了很多,不过衣服位置还是没办法修补,可能 AI 的算法库里应该没有这种老照片吧。

对于这种简单背景的图片就能很好识别,要说 "毫无PS痕迹",那就有点夸张了,还是能看出一些痕迹,更别说复杂点的照片了。

雷锋哥找了各种不同类型的照片进行修复,翻车的概率比较大,效果不如用「PhotoShop」的里面的智能填充功能。

下面雷锋哥用「PhotoShop」智能填充功能,同一张图对比,细节方面的修补效果要优于「Nvidia Image Inpainting」的 AI 修复。

总结

根据「Nvidia」官方的介绍,这项技术是根据图像内容智能分布填充,靠 AI 的数据算法想象内容然后填充,而「PhotoShop」是根据图像周围相似元素进行填充。

虽然目前「Nvidia Image Inpainting」还不能做到 "毫无PS痕迹" ,但雷锋哥相信随着 AI 算法和内容量越来越丰富,在未来也许真的能做到 "毫无PS痕迹" 的修补照片了,甚至创作出一些虚拟的东西出来。

访问
    Inpainting:https://www.nvidia.com/research/inpainting

No comments:

Post a Comment