GauGAN 可以为从建筑师、城市规划者到景观设计师和游戏开发商的每个人提供一个强大的工具来创建虚拟世界。有了一个能够理解现实世界的人工智能,这些专业人员可以更好地设计出想要的原型,并快速改变它们。
NVIDIA 应用深度学习研究院副总裁 Bryan Catanzaro 说:「用简单的草图进行头脑风暴设计要容易得多,而且这项技术能够将草图转换成高度逼真的图像。」
Catanzaro 将 GauGAN 背后的技术比作「智能画笔」,它可以在粗略的语意分割图(即显示场景中对象位置的高级轮廓)中填充细节。
GauGAN 使用户可以画出语意分割图,并合成自己需要的场景,其中,这些分割图都需要相应的标签,如天空、大海或者雪。
经过 100 万张图片的训练,深度学习模型通过结果来填充景观:在池塘中画画,附近的元素如树木和岩石将在水中映射。将一个段标签从「草地」换成「雪」,整个图像将变为冬季场景,原来枝繁叶茂的树木则变成了不毛之地。
Catanzaro 说:「这就像一幅彩色的图画,描绘了一棵树在哪里,太阳在哪里,天空在哪里。」然后,神经网络能够根据对真实图像的了解,填充所有细节和纹理,以及反射、阴影和颜色。
GaoGAN 背后的技术来自来自英伟达和 MIT 的研究团队,成员包括英伟达的 Ting-Chun Wang、刘明宇(Ming-Yu Liu),Taesung Park (当时在英伟达实习),以及来自 MIT 的朱俊彦(Jun-Yan Zhu)。
英伟达再出黑魔法GauGAN:凭借几根线条,草图秒变风景照
草图秒变风景照,英伟达神笔马良GaoGAN终于开源了
昨天,关于GaoGAN又有新的进展,论文作者之一刘明宇在Tw itter上宣布,GaoGAN软件开放Beta测试,测试采用网页版,完全公开,无需注册和申请。也就是说,之前我们只能看着动图和说明视频惊叹,而现在可以亲自动手当一次“神笔马良”了。当画家,从未变得如此简单!
从GaoGAN的测试界面来看,与之前英伟达放出的Demo和视频介绍中几乎完全一样。只需要首先点击屏幕下方的服务条款前面的勾,就可以尽情作画啦。
软件界面上方支持调节画笔的粗细,左方可以选择风景材质类型,比如大山、河流、森林、沙漠海洋等,下方支持更换背景。如果你不会玩,可以看看这个视频,GaoGAN的开发者们手把手教你怎么玩!
总之你只管涂只管画就是,剩下的全交给它就是了。只要会画简笔画,GaoGAN就能让你找到一种当艺术家的感觉,毕竟GaoGAN这个名字就容易让人联想到那位和梵高相爱相杀的19世纪著名后印象派绘画高更。
以后印象派画家保罗·高更命名的GauGAN从分割图创建逼真的图像,分割图标记为描绘场景布局的草图。
艺术家可以使用画笔和油漆桶工具来设计他们自己的景观,如河流,岩石和云。样式转换算法允许创作者应用滤镜 - 将日间场景更改为日落,或将照片级逼真的图像更改为绘画。用户甚至可以将自己的过滤器上传到他们的杰作上,或上传自定义分割地图和风景图像作为其艺术作品的基础
一步一步,在您自己的肖像或风景中看到深刻的学习推理。我们的研究人员开发了最先进的图像重建功能,可以使用训练模型生成的新像素填充图像中缺失的部分,而不依赖于照片中缺失的像素。用风景或肖像拍摄。随意擦除 - 摆脱那个照片制作者或你的前任,然后看看当新的像素被涂在洞中时会发生什么。
平台