光学神经网络训练算法中超参数对网络性能的影响

作者：曹雯; 刘美玉; 陆鸣豪; 邵晓锋; 刘启发; 王瑾^*

来源：激光与光电子学进展, 2023, 60(22): 300-307.

• 光学神经网络
• 马赫-曾德尔干涉仪
• 训练算法
• 动量
• 学习率

面向数字图像识别，使用光学器件构建基于快速傅里叶变换(FFT)的光学神经网络(ONN)，其中的线性光学处理单元由马赫-曾德尔干涉仪(MZI)实现。这些MZI以网格状布局连接，对通过的光信号进行调制，实现乘法和加法，从而实现对图像的分类识别。针对该ONN对手写数字图像进行识别出现的问题，研究训练算法中的主要超参数即动量系数和学习率对网络性能的影响。首先比较不同学习率下随机梯度下降(SGD)、均方根传递(RMSprop)、适应性矩估计(Adam)和自适应梯度(Adagrad)4种训练算法结合不同非线性函数和不同隐藏层个数后，ONN在识别手写数字图像上的表现。实验结果显示：在学习率从0.5变化到5×10-5、RMSprop训练算法下，具有2个隐藏层、非线性函数为Softplus的FFT型ONN具有最高的识别精确度，达97.4%。此外，着重分析在具有不同动量系数的SGD算法结合不同非线性函数和不同隐藏层个数时ONN对手写数字图像识别的准确率、运行内存和训练时间的影响。进一步，在学习率为0.05和0.005时，比较了SGD、RMSprop训练算法以及各自在引入动量后的网络识别性能。实验结果显示：动量系数为0时，采用SGD算法训练的具有2个隐藏层、非线性函数为Softplus的ONN的识别精度为96%，动量系数为0.9时，ONN的识别精度提高到96.9%；而加入动量的RMSprop算法会导致网络识别准确率不收敛或收敛较慢。

• 单位
  通信与信息工程学院; 南京邮电大学