解析AI漫画系统CariGAN：为何能与艺术家一决高下

研究人员投入了大量的精力来训练更聪明、更准确、更复杂的人工智能。然而看看沿途发生的花絮也是一件很有趣的事。

我们所知的是，算法可以创造出逼真的人像或足以以假乱真的视频，但来自微软和香港城市大学的人工智能开发者团队却回避了绘制的准确性。相反，他们把人工智能用于自动将照片变成一幅漫画，能够模仿那些你可能在游乐场等地方看到的那种夸张的、高度程式化的图像。

斯坦福大学研究生Kaidi Cao与来自香港城市大学的人工智能研究人员Jing Liao以及微软的Lu Yuan合作开发了以神经网络绘制漫画的系统，这些漫画作品令人感到难以置信。考虑到Kaidi Cao参与此项目时，他只是北京微软研究院的视觉计算小组的一名实习生。

两个AI协作创造漫画系统

为了创造出能映射到一个人面部特征的风格图像，工程师们需要训练两个独立的人工智能系统，最终教他们协同工作。否则，结果将会像之前试图制造人工智能漫画一样，看起来更像是道林·格雷画作的恐怖版本。

这里的AI，实际上是一对生成对抗网络（GAN），被称为CariGAN。它的第一个神经网络，CariGeoGAN，决定了照片中人脸的几何形状，并将其映射到一个漫画模型。CariGANs的另一半CariStyGAN进行“风格转移”，或将艺术外观应用于几何图。

为了让CariGAN能够将一张相对无聊的照片变成一场赏心悦目的盛宴，系统接受了数以千计的手绘图像训练。

为了确定功效，研究人员进行了两项研究。第一个是确保人工智能的漫画保留了肖像主题的身份。这里的断言是，一个好的漫画必须以夸张的形式捕捉一个人的本质。据研究人员称，受访者表示CariGANs的漫画与手绘艺术家相比毫不逊色。

研究人员进行了第二项研究，以确定“绘图”与手绘艺术家作品相比的总体效果。这同样表明很成功。

在CariGAN AI中，一个GAN负责分析一个人的面部照片，并夸大某些特征，例如高颧骨、突出的下巴，就像一个漫画艺术家所做的那样，另一个则负责模仿漫画艺术家中常见的笔触和艺术风格。把它们放在一起，你会看到一些看起来很傻的AI艺术作品，看起来就像其所描画的那个人。或者，至少它看起来就像一个人画的漫画一样。

解析视频和逆向寻找卡通人物原型

CariGANs AI还可以解析视频中的帧并从中创建漫画，以下图像就是来自美国总统一个的演讲视频。

这对动画师来说是非常有用的，证明了与人工智能一起创造的“艺术”可以在人类精神中激起一些东西。

CariGANs AI还可以对漫画进行逆向工程，并确定卡通人物的真实外观。研究人员说：“我们相信这可能对漫画中的人脸识别有帮助。”这听起来有点可怕。但如果这意味着我可以用一个巨大的脑袋和一个宽边帽作为ID来绘制自己，那就把我算进去吧。

值得注意的是，CariGAN AI的排名比手绘的要好22.95%，这意味着其结果有时会让用户误以为这是真正的手绘漫画。尽管它离理想的欺骗率（也就是50%）还差得很远，但该研究小组所做的工作已经迈出了一大步，与其他方法相比，绘制效果更接近艺术家们所绘制的漫画。

该艺术算法将于今年12月在东京举行的国际动漫与游戏技术大会（SIGGRAPH Asia 2018）上发布。