基于改进YOLOv5s的离线手写数学符号识别

作者：方洪波; 万广; **辉; 黄以卫; 张文勇; 谢本亮^*

来源：图学学报, 2022, 43(03): 387-395.

• 离线手写数学符号识别
• 数据增强
• 生成对抗网络
• 空间注意力机制
• 双向长短期记忆网络

离线数学符号识别是离线数学表达式识别的前提。针对现有离线符号识别方法只是单纯的对符号进行识别，对离线表达式识别的其他环节未有任何帮助，反而会限制表达式识别，提出一种改进YOLOv5s的离线符号识别方法。首先，根据符号图像小的特点，用生成对抗网络(GAN)进行数据增强；其次，从符号类别的角度分析，在YOLOv5s模型中引入空间注意力机制，利用全局最大值和全局平均值池化，扩大类别间的差异特征；最后，从符号自身角度分析，引入双向长短期记忆网络(BiLSTM)对符号特征矩阵进行处理，使符号特征具有上下相关联的信息。实验结果表明：改进后的YOLOv5s取得较好离线符号识别效果，有92.47%的识别率，与其他方法进行对比，证明了其有效性和稳健性。同时，能有效避免离线数学表达式识别中错误累积的问题，且能为表达式的结构分析提供有效依据。

• 单位
  贵州大学; 贵州财经大学