光学神经网络训练算法中超参数对网络性能的影响的研究

作者：曹雯; 刘美玉; 陆鸣豪; 邵晓锋; 刘启发; 王瑾

来源：激光与光电子学进展, 2023, 1-16.

• 光学神经网络
• 马赫曾德尔干涉仪
• 训练算法
• 动量
• 学习率

近年来，神经网络在自然语言处理、图像识别、医学和游戏中发挥关键作用。光学神经网络（Optical Neural Network, ONN）被提出以解决电领域神经网络功率、能量消耗大和计算延迟等问题。面向数字图像识别，本文使用光学器件构建了基于快速傅里叶变换（Fast Fourier Transform, FFT）的光学神经网络，其中的线性光学处理单元由马赫曾德尔干涉仪（Mach-Zehnder Interferometers, MZI）实现。这些MZI以网格状布局连接，对通过的光信号进行调制，以实现乘法和加法，从而实现对图像的分类识别。针对该ONN对手写数字图像识别，本文主要研究了训练算法中的主要超参数即动量系数和学习率对网络性能的影响。首先比较了不同学习率下随机梯度下降（Stochastic Gradient Descent, SGD）、均方根传递（Root Mean Square prop, RMSprop）、适应性矩估计（Adaptive Moment Estimation, Adam）和自适应梯度（Adaptive Gradient,Adagrad）四种训练算法结合不同非线性函数和不同隐藏层个数时ONN识别手写数字图像上的表现。实验结果显示：在学习率从0.5变化到5×10~(-5)，在RMSprop训练算法下，两个隐藏层、非线性函数为Softplus的FFT型ONN网络具有相对最高的识别精确度，达到97.4%。此外，着重分析了在不同动量系数的SGD算法结合不同非线性函数和不同隐藏层个数时ONN对手写数字图像识别的准确率、运行内存和训练时间的影响。进一步，在学习率为0.05和0.005时，比较了SGD、RMSprop训练算法以及各自在引入动量后的网络识别性能。实验结果显示：动量系数为0时，采用SGD算法训练的两个隐藏层、非线性函数为Softplus的ONN的识别精度为96%，而动量系数为0.9时，ONN识别精度提高到96.9%；而加入动量的RMSprop算法会导致网络识别准确率不收敛或收敛较慢。

• 单位
  南京邮电大学; 通信与信息工程学院