当前位置: 首页 > 刨根问底

AI 成就现实版神笔马良:随手涂鸦就能生成 3D 小怪兽

12-01


小时候,我每次看《奥特曼》,脑海里都会出现两个疑问:正义的奥特曼,为什么总在关键时刻断电?怪兽丑的各有特色,这设计灵感是噩梦给的吗?

后来我才知道,主角命运的跌宕起伏是剧情需要,怪兽的设计灵感则来源于神话传说。据圆谷公司说,当时在设计怪兽形象的时候,他们补了很多神话故事,一遍遍组合,一版版出草图,才得以定稿。

AI 成就现实版神笔马良:随手涂鸦就能生成 3D 小怪兽

这部剧的每一个细节,都在诠释圆谷公司的匠心

不管是数码宝贝还是哥斯拉,每一个非现实类的生物形象,背后都是一场漫长的艺术接力,在这个过程中,创作者最大的挑战,就是在不牺牲创意的情况下,快速迭代想法。

如果有一支神笔,简单挥几下,就能直接把创意变成图像,那该多好。

谷歌就造了这么一支“神笔”。

1、

谷歌推出了一个 Web 画图工具,名字叫做 Chimera Painter,它能够把你的随手涂鸦,转换成带有 3D 效果的小怪兽,效果就像下面这样。

AI 成就现实版神笔马良:随手涂鸦就能生成 3D 小怪兽


怪兽生成器 Chimera Painter 是一种机器学习模型,它的背后,依然站着当红辣子鸡:生成式对抗网络 (GAN)。

说到图像领域的 GAN,想必大家应该都不算陌生,它是两个卷积神经网络的组合,你可以理解为两个小人在博弈。

一个小人叫生成模型,任务是以假乱真,造出能媲美原图的照片就算赢;另一个小人叫判别模型,任务是明辨是非,需要判断眼前这张照片到底是原图,还是对手生成的。

经过长期的斗智斗勇,双方的水平都越来越高,基于 GAN 训练出来的 AI,也就越能满足实际需要。

在开发 Chimera Painter 绘画神器之前,谷歌研究团队发明了一个数字纸牌游戏:玩家随意组合两个真实动物的身体部位,合成一个怪兽,怪兽间可以互相决斗。

每张纸牌的攻击值,取决于上面的怪兽;而怪兽的技能,则取决于组合前的两种动物。

AI 成就现实版神笔马良:随手涂鸦就能生成 3D 小怪兽


比如,玩家选择美西螈和鲸鱼,在随意组合它们的身体部位后,就可以获得一个可怕的非现实怪物——美西螈鲸鱼嵌合体,并派它去战斗。

谷歌给这种组合限定了两个条件:

1、要有一种方法,可以让各部位快速合为一体;


2、合成后的生物,必须保留原始生物的视觉特征。

为了让结果满足这两个条件,谷歌使用了 GAN 的一种变体:条件 GAN。

与一般 GAN 侧重于照片真实性的目的不同,条件 GAN 的目标,是把不同生物的身体部位完美组合在一起。

要想训练好机器学习模型,数据集很关键。

谷歌研究团队创建了一个全彩的图像数据集,里面包含了每一种生物的轮廓,这些轮廓改编自 3D 生物模型,图像除了描述每种生物的形状和大小外,还附带了分割图,以便让生成器分清眼睛、鼻子、尾巴等不同部位。

在游戏创作者的协助下,谷歌选出了表现最好的模型,放进了 Chimera Painter。

在使用 Chimera Painter 时,你同样需要让模型知道,你涂鸦出的生物分别有哪些身体部位,这一点很容易做到:描绘身体部位时,选择绘画框左侧的身体部位标签,如眼睛、鼻子、尾巴等,每种标签颜色不同。

画完后,点击“转换”按钮,Chimera 就能生成对应的 3D 怪兽了。

AI 成就现实版神笔马良:随手涂鸦就能生成 3D 小怪兽


2、

让机器学习模型创造新生物,听起来简单,背后其实有一个大难题:如何保证身体部位的连贯性?

对 AI 来说,它不认识任何一种生物,在生成新物种的时候,即使你选择了标签,告诉它哪个是头,哪个是脖子,依然很容易出现细节丢失的情况,令人毛骨悚然。

比如下面这张图,身体部位乱成一团,比丧尸大片更让人难受。

AI 成就现实版神笔马良:随手涂鸦就能生成 3D 小怪兽


为了解决这个问题,谷歌团队开发了一种以用户为主导的半自动方法:直接从 3D 生物模型中创建训练数据集。

教 AI 认识 2D 图,生成 3D 图,这条路对它来说有点难,容易出错,不如直接教它看 3D 图,这样一来,它就能知道,立体生物的身体部位是如何衔接的,降低图像四肢扭曲等的概率。

举个栗子,选择鬣狗和狮子这两种基础动物,混合后,就拥有了一个鬣狗-狮子嵌合体。接下来,针对新生成的嵌合体,制作两幅纹理图:一个是最终成品图 (左边),一个是部位细分图 (右边)。

AI 成就现实版神笔马良:随手涂鸦就能生成 3D 小怪兽

实例数据集训练图像及其配对分割图

最后,借助虚拟引擎,把右侧的部位细分图渲染到 3D 模型上,供 AI 训练,确保它了解图中生物身体部位的特定结构、形状、纹理和比例等信息。

借助这种方法,谷歌团队为每个 3D 生物模型,都生成了 10000 多个图像+分割对比图,并在不同的姿势、视角和每个 3D 生物模型的缩放级别之间进行插值,最终制成具有超强实操性的 GAN 训练数据集。

3、

GAN 中有许多可以调整的超参数,超参数的大小,会影响输出图像的质量。

为了选出创造性能最佳的模型版本,谷歌研究团队收集并分析了模型生成的每个样本,从中提取出一些显著特征,如画面深度,面部、眼睛的真实感等。

这些特征不仅将用于训练模型的新版本,而且能在模型生成成千上万的生物图像之后,从每种生物类别(例如瞪羚,山猫,大猩猩等)中选出最佳的图像。

AI 成就现实版神笔马良:随手涂鸦就能生成 3D 小怪兽

使用条件 GAN 创建生成的嵌合体

另外,特征权重的不同,也会影响最终生成图像的外观,下面是在不同权重下训练 GANs 的结果。

AI 成就现实版神笔马良:随手涂鸦就能生成 3D 小怪兽

使用不同的感知损失重量生成的恐龙-蝙蝠嵌合体

图片中的颜色变化主要是数据集导致,因为数据集中的一个生物,可能含有多种纹理,比如蝙蝠有红色和灰色之分,导致最终组合出来的生物,颜色上也有很大差异,特定值会产生更清晰的面部特征,让生成的生物更具有真实感。

在人类运用工具的历史中,人工智能称得上是最强大的一种工具,它在承担重复、繁琐、计算量大的工作的同时,也把想象力和创造力让渡给了人类。

当 AI 成为绘画助手时,更大的创作空间已经为创作者打开。

广阔天地,皆可作为。


参考资料:

1、https://storage.googleapis.com/chimera-painter/index.html

2、https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html


嗨,这里是浅黑科技,在未来面前,我们都是孩子。

想看更多科技故事,欢迎戳→微信公众号:浅黑科技:qianheikeji


版权保护: 转载请保留链接: https://www.qianhei.net/paogenwendi/190.html