正交约束多头自注意力的场景文本识别

作者：徐仕成; 朱子奇

来源：中国图象图形学报, 2023, 28(12): 3855-3869.

DOI：10.11834/jig.221049

• 场景文本识别(STR)
• 视觉Transformer(ViT)
• 多头自注意力
• 正交约束
• 计算机视觉

目的 场景文本识别（scene text recognition,STR）是计算机视觉中的一个热门研究领域。最近，基于多头自注意力机制的视觉Transformer(vision Transformer,ViT)模型被提出用于STR，以实现精度、速度和计算负载的平衡。然而，没有机制可以保证不同的自注意力头确实捕捉到多样性的特征，这将导致使用多头自注意力机制的ViT模型在多样性极强的场景文本识别任务中表现不佳。针对这个问题，提出了一种新颖的正交约束来显式增强多个自注意力头之间的多样性，提高多头自注意力对不同子空间信息的捕获能力，在保证速度和计算效率的同时进一步提高网络的精度。方法 首先提出了针对不同自注意力头上Q(query)、K(key)和V(value)特征的正交约束，这可以使不同的自注意力头能够关注到不同的查询子空间、键子空间、值子空间的特征，关注不同子空间的特征可以显式地使不同的自注意力头捕捉到更具差异的特征。还提出了针对不同自注意力头上Q、K和V特征线性变换权重的正交约束，这将为Q、K和V特征的学习提供正交权重空间的解决方案，并在网络训练中带来隐式正则化的效果。结果 实验在7个数据集上与基准方法进行比较，在规则数据集Street View Text(SVT)上精度提高了0.5%；在不规则数据集CUTE80(CT)上精度提高了1.1%；在7个公共数据集上的整体精度提升了0.5%。结论 提出的即插即用的正交约束能够提高多头自注意力机制在STR任务中的特征捕获能力，使ViT模型在STR任务上的识别精度得到提高。本文代码已公开：https://github.com/lexiaoyuan/XViTSTR。

• 单位
  武汉科技大学