二值网络的分阶段残差二值化算法

作者：任红萍^*; 陈敏捷; 王子豪; 杨春; 殷绪成

来源：计算机系统应用, 2019, 28(01): 38-46.

DOI：10.15888/j.cnki.csa.006695

• 深度学习
• 二值网络
• 随机量化
• 高阶残差量化
• 分阶段残差二值化

二值网络在速度、能耗、内存占用等方面优势明显,但会对深度网络模型造成较大的精度损失.为了解决上述问题,本文提出了二值网络的"分阶段残差二值化"优化算法,以得到精度更好的二值神经网络模型.本文将随机量化的方法与XNOR-net相结合,提出了两种改进算法"带有近似因子的随机权重二值化"和"确定权重二值化",以及一种全新的"分阶段残差二值化"的BNN训练优化算法,以得到接近全精度神经网络的识别准确率.实验表明,本文提出的"分阶段残差二值化"算法能够有效提升二值模型的训练精度,而且不会增加相关网络在测试过程中的计算量,从而保持了二值网络速度快、空间小、能耗低的优势.

• 单位
  北京科技大学