照片AI转换做新海诚、吉卜力style AnimeGAN快速将实景转动漫

日本动画不乏从现实环境取材的风景画面,如京都动画(Kyoto Animation)、吉卜力工作室,或是新海诚制作的动画,均采用大量实景作为作品中的舞台,掀起了圣地巡礼的热潮。而近日,中国就有大学团队研发出一种技术,可以将现实世界拍摄的照片转换为类似动漫的图像,令用户可以通过该技术转换照片,如上述的动画制作者般,将二、三次元“整合”。

由武汉大学和湖北工业学院组成的中国研究团队开发的“AnimeGAN: A Novel Lightweight GAN for Photo Animation”,是一项将现实世界拍摄的照片快速转换为动漫图像的技术。AnimeGan利用神经风格转换(Neural Style Transfer)和GAN(生殖对抗网络),配合深度学习的轻量级框架,在考虑线条,纹理,颜色,阴影等情况后,将实景图像快速转换为动漫图像。

该团队指,AnimeGAN是基于CartoonGAN,再进行改进,并制作出一个更加轻量级的生成器架构。为了有效减少生成器的参数数量,AnimeGAN使用了8个连续且相同的IRB(inverted residual blocks),以轻量级的生成器实现高速传输。

将AnimeGAN与CartoonGAN和ComixGAN进行比较,可以发现AnimeGAN可以显著减少参数数量和计算成本,并提高了处理速度。尤其是颜色伪影区域(图中红框),CartoonGAN生成的动漫图像中通常会存在颜色伪影区域,而ComixGAN生成的动漫图像中则会存在过度风格化的区域,令原始照片内容有损,难以识别目标纹理,但AnimeGAN就能解决该些问题。

目前,AnimeGAN已经开源,数据集和预训练模型均可下载,如果读者们有兴趣体验一下宫崎骏、新海诚、或是京阿尼的风格呈现,不妨一试。