二值卷积神经网络综述

作者：丁文锐; 刘春蕾; 李越; 张宝昌

来源：航空学报, 2020, 1-14.

• 二值卷积神经网络
• 全精度卷积神经网络
• 二值化
• 量化
• 模型压缩
• 轻量化
• 深度学习 binary convolutional neural network
• full-precision convolutional neural network
• binarization
• quantization
• model compression
• lightweight
• deep learning

二值卷积神经网络（Binary Neural Network，BNN）占用存储空间小、计算效率高，然而由于网络前向的二值量化与反向梯度的不匹配问题，使其与同结构的全精度深度卷积神经网络（Convolutional Neural Network， CNN）之间存在较大的性能差距，影响了其在资源受限平台上的部署。至今，研究者已提出了一系列网络设计与训练方法来降低卷积神经网络在二值化过程中的性能损失，以推动二值卷积神经网络在嵌入式便携设备发展中的应用。因此，本文对二值卷积神经网络进行综述，主要从提高网络表达能力与充分挖掘网络训练潜力两大方面，给出了当前二值卷积神经网络的发展脉络与研究现状。具体而言，...

• 单位
  电子信息工程学院; 北京航空航天大学