科研之友
微信
新浪微博
Facebook
分享链接
摘要
传统梯度下降算法仅对历史梯度进行指数加权累加，没有利用梯度的局部变化，造成优化过程越过全局最优解，即使收敛到最优解也会在最优解附近震荡，其训练图卷积神经网络会造成收敛速度慢、测试准确度低。本文利用相邻梯度的余弦相似度，动态调整学习率，提出余弦相似度梯度下降（SimGrad）算法。为进一步提升图卷积神经网络训练的收敛速度和测试准确度，减少震荡，结合动量思想提出动量余弦相似度梯度下降（NSimGrad）算法。通过收敛性分析，证明SimGrad算法、NSimGrad算法都具有■的遗憾界。在构建的三个非凸函数进行测试，然后结合图卷积神经网络在四个数据集上进行实验，结果表明SimGrad算法保证了图卷积神经网络的收敛性，NSimGrad算法进一步提高图卷积神经网络训练的收敛速度和测试准确度，SimGrad、NSimGrad算法相较于Adam、Nadam具有更好的全局收敛性和优化能力。
-
单位太原师范学院
