科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种基于张量奇异值定界的卷积神经网络训练方法,包括以下步骤：S1、对卷积神经网络权重进行初始化,使得全连接层和卷积层的权重矩阵正交,卷积层的权重张量的奇异值相等；S2、用随机梯度下降法或其变形对卷积神经网络进行训练；S3、每经过若干次训练迭代后,对卷积层权重进行矩阵奇异值定界和张量奇异值定界的交替更新,对全连接层权重进行矩阵奇异值定界更新,对批标准化层的权重进行定界更新。本发明提出对权重张量加入正交约束,既保持网络能量又不破坏权重的张量结构。针对正交张量约束,本发明提出对权重张量的奇异值进行阈值限定,实现正交张量网络的训练,提升图像分类网络的性能。
- 单位
