万圣节定制「丧尸生成器」,编辑部亲测,效果鬼畜

get 了这个网站,今年万圣节 C 位就是你的!

AI 是一个盛产阴间产品的领域,这一点似乎已经毋庸置疑。前不久,有人做了个用来生成「大眼萌」漫画形象的网站「Toonify」,但很快就有人走向了另一个极端:用类似技术做一个丧尸生成器!
利用 Toonify 生成的威尔 ? 史密斯漫画形象。
利用「丧尸生成器」生成的威尔 ? 斯密斯丧尸形象。
被玩坏的两位美国总统候选人。

这种搞笑又惊悚的风格似乎和即将到来的万圣节很般配。

为了让大家都用上这个效果,作者还专门做了一个名为「MAKE ME A ZOMBIE」的网站。
网站地址:https://makemeazombie.com/

网站的用法非常简单:上传照片,点击「Make Me A Zombie!」,网站就会自动识别出人脸并生成你的丧尸照:
看了生成效果之后,有人表示想在万圣节 Party 上做一个照相棚,希望作者能够开放代码或 API。
看来,有了这个生成器,万圣节不用愁换什么头像了。

技术细节

据作者介绍,该模型的开发与 Toonify 并无关联,不过碰巧使用的是相同的技术栈:

该项目首先通过迁移学习得到一个 StyleGAN2 丧尸生成器,然后基于《Cross-Model Interpolations between 5 StyleGanV2 models - furry, FFHQ, anime, ponies, and a fox model》创建了一个混合型 StyleGAN2 模型。该模型中前面一些层来自原始人类图像生成器,后面一些层则来自丧尸生成器。最后,项目作者阅读论文《StyleGAN2 Distillation for Feed-forward Image Manipulation》后,使用了 50000 个图像对(分别来自人类 StyleGAN2 生成器和丧尸生成器),并使用 Pix2PixHD 学习图像对之间的映射。

不过,该项目所用方法与 Toonify 之间存在两个细微差异:
  1. 该项目通过 crappify 进行输入数据增强(https://github.com/fastai/course-v3/blob/master/nbs/dl1/crappify.py):有目的地调整图像大小和引入压缩伪影;

  2. 混合模型可能存在差异,该项目所用模型着重于原始图像的形状和方向,而不是丧尸图像的纹理,而 Toonify 模型正相反。

该项目使用的丧尸数据集包含大约 300 张万圣节丧尸面具和丧尸妆图像,主要来自 Pinterest 和 Google,并经过手动筛选删除非丧尸图像。

在项目开发过程中,作者遇到了一些困难。去年作者使用 CycleGAN 在相同的数据集上进行过尝试,但效果一般。最初,项目作者尝试创建一个生成「一半人类一半丧尸」图像的生成器。作者将数百个样本分成两个类别,并使用支持向量机(SVM)学习分离超平面,以确定潜在空间中的「丧尸」方向。之后作者基于人脸图像生成特定的丧尸,并以此作为 Pix2Pix 数据的基础。但这存在一些问题:1)尽管它可以基于人脸数据良好运行,但生成结果平平无奇;2)丧尸和种族之间存在一些问题,作者并不想创造一个种族改变器。

项目作者使用配备 2080Ti 的计算机,在大约一天的时间中基于 1024x1024 图像训练模型。具体而言,StyleGAN2 使用的是预训练的人脸生成器,只需几小时就能生成丧尸照。Pix2PixHD 部分花费的时间较长,它并未基于面部图像进行预训练,其初始输入为原始面部图像的模糊单色图像,经过大约一天的训练后,它给出了不错的结果。

和以往很多 AI 应用一样,这个「丧尸生成器」也引发了部分用户对于隐私问题的担忧。不过,网站制作者表示:「我们只用您的照片生成丧尸照。这些照片甚至都不会存盘,因此我们这边也不会有记录。」
「MAKE ME A ZOMBIE」网站的隐私政策。

一大波「丧尸照」即将刷屏

在 Twitter 上,已经有不少网友试用了这款丧尸生成器。测试显示,小 baby 的照片也可以成功转换,而且还加上了很多牙齿。
然而,并不是每个转换效果都可以用「可爱」来形容:
帕瓦罗蒂的丧尸照。

甚至有些能检测到人脸的表情包也可以拿来玩:
受好奇心的驱使,编辑部也用内部照片进行了测试,结果……
如果你也对这个生成器感兴趣,不妨一试,说不定万圣节最「靓」的仔就是你了~

参考链接:
https://www.reddit.com/r/MachineLearning/comments/jhl36y/p_turn_yourself_into_a_zombie_with_a_neural/