SmartPaint：一种基于生成式对抗神经网络的人机协同绘画系统（英文）

作者：Lingyun SUN; Pei CHEN; Wei XIANG^*; Peng CHEN; Wei-yue GAO; Ke-jun ZHANG

来源：Frontiers of Information Technology & Electronic Engineering, 2019, 20(12): 1644-1657.

• 协同绘画
• 深度学习
• 图像生成

当前人工智能在模仿和大批量生产设计作品中扮演重要角色(如电商广告),而在与用户合作创作时表现欠佳。人们有能力使用草图表达创意想法,但缺乏专业绘画技巧完成精美画作。已有人工智能方法无法基于用户输入草图的语义输出具有艺术美感的画作。本文开发了一种基于生成式对抗神经网络的人机协作绘画系统——SmartPaint,支持人机合作创作动漫风景画作。该系统使用动漫图像数据及其相应语义标注图、边缘检测图训练生成式对抗神经网络。通过此种方式,该系统能够同时理解动漫风格以及风景图像中物体的语义和空间关系。在使用中,用户输入草图作为语义标注图,系统自动为其合成边缘图;根据合成的边缘图生成具有恰当风格纹理的画作,从而稳定地处理多样化草图。实验证明该系统可有效满足用户创作需求,生成高质量动漫风格画作。

• 单位
  计算机辅助设计与图形学国家重点实验室; 浙江大学