科研之友
微信
新浪微博
Facebook
分享链接
摘要
为了解决基于深度学习的GUI元素识别方法表现不佳以及无法判断是否可触控的问题，提高GUI测试的效率与覆盖率，提出有效的面向GUI测试的可触控控件训练与检测方法。首先定义可触控控件的检测类别，用于直接检测具备可触发属性的控件；考虑到UI页面存在堆叠元素，对数据集中不可见的控件进行过滤，并剔除视图层次结构与屏幕截图不同步的数据；通过分析安卓机制将UI页面中可触控控件进行了标记。最后基于YOLO v5s训练获得一个轻量级训练模型。结果表明，提出的训练及检测方法优于现有深度学习方法和经典方法，其F1达到了82%,在GUI测试中具有良好的使用价值。
- 单位
