基于多段插值拟合的深度神经网络非线性层加速方法

作者：黄一凡; 张欣; 支天; 张蕊^*; 张曦珊; 周学海

来源：高技术通讯, 2023, 33(03): 280-291.

• 深度神经网络(DNN)
• 量化
• 非线性层加速
• 多段插值拟合

针对传统量化算法无法应用于非线性运算层的问题,本文提出了一种基于多段插值拟合的非线性层加速方法,利用插值表存储插值函数的参数,通过查表来计算得到非线性层的输出结果。使用本方法,可以在对非线性层进行有效加速的同时实现拟合误差可控。此外在硬件部署时,仅需要基础硬件指令支持,在边缘端和服务器都可以部署。实验结果表明,使用本文提出的多段插值方法拟合多种非线性层,可以取得平均1.44倍的加速效果。这种非线性层可以方便快捷地部署在图像分类、自然语言处理和机器翻译等多种任务模型上,并且每个模型对拟合精度有不同需求的情况下,均可以保证推理和训练精度损失小于0.5%。

• 单位
  中国科学院计算技术研究所; 中国科学技术大学