基于位图识别的UI自动化测试研究和应用

作者：余锦润; 杨丹君; 李波波

来源：自动化与仪表, 2021, 36(03): 90-94.

DOI：10.19557/j.cnki.1001-9944.2021.03.020

• 自动化测试
• Electron应用
• Opencv
• Sikulix
• 图像识别

在软件测试领域,自动化测试的研究层出不穷,而新技术的发展,给自动化测试提供了更多的方向,而UI自动化测试的需求更是繁多。该文从Electron应用出发,针对界面元素id无法提取的情况,设计并实现了一种位图识别的自动化测试方案,以Opencv的图像识别算法为支撑,以Sikulix的库函数为底层驱动,应用Python+RF实现了各个模块的设计以及整个测试框架集成。实验结果表明,元素识别率可以达到96.8%以上,在这种场景下是元素id识别的完美替代,且丰富的API保证了复杂需求实现的可行性,通过项目的实际应用效果以及输出的代码文档示例,证实了其应用价值。