UI图层合并器：基于计算机视觉与边界先验的UI图层合并方法（英文）

作者：陈云农; 甄焱鲲; 施楚宁; 李佳智; 陈柳青^*; 李泽健; 孙凌云; 周婷婷; 常艳芳

来源：Frontiers of Information Technology & Electronic Engineering, 2023, 24(03): 373-388.

• 用户界面(UI)生成代码
• UI设计规范
• UI碎片图层合并
• 目标检测

随着互联网行业图形用户界面（GUI）开发工作量的快速增长，国内外学者试图从GUI图片生成可维护的前端代码。该任务更适合从包含有用户界面元数据的UI设计稿来实现代码生成。然而，碎片图层不可避免地会出现在UI设计稿中，这大大降低了生成代码的质量。目前尚未有自动化GUI技术来检测并合并碎片图层以提高生成代码的可维护性。本文提出UI图层合并器（UILM），一种基于计算机视觉的方法，可以自动检测并合并碎片图层为完整的UI组件。本文提出的UILM包含合并区域检测器和碎片图层合并算法。合并区域检测器结合边界先验知识来准确地检测出UI组件的边界。基于此，碎片图层合并算法可以搜索出边界内的相关碎片层并将其合并为整体。此外，我们提出一种动态数据增强算法来提高合并区域检测器的性能。我们还构建了用于训练合并区域检测器和测试UILM的大规模UI数据集。实验结果表明，本文提出的方法在合并区域检测方面优于最佳基线，并达到了有效的图层合并准确率。最后，对真实应用程序的用户研究也证实了本文方法的有效性。

• 单位
  浙江大学