一种基于修正动量的RBM算法

作者：沈卉卉; 刘国武; 付丽华; 刘智慧; 李宏伟^*

来源：电子学报, 2019, 47(09): 1957-1964.

• 深度学习
• 无监督学习
• 受限玻尔兹曼机
• 梯度近似算法
• Gibbs采样
• 动量加速
• 泛化能力

受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)是一种随机网络、概率图模型,它是一种比较有效的的无监督学习模型.针对RBM梯度近似的一种计算方法对动量加速不敏感,以及识别效果不理想等问题,本文提出一种基于修正动量的RBM算法.该算法结合RBM梯度近似方法,通过修改隐单元偏置参数的更新方式,避免RBM模型中隐单元取值采用概率值时导致模型识别效果不理想、动量加速有限等问题.同时,在RBM预训练阶段采用快速上升的动量方式,以加速网络收敛;在微调阶段引入缓慢下降的动量项,以避免陷入局部最优点并提高识别效果.本文算法通过在MNIST手写数字体,Extended Yale B和CMU-PIE人脸数据库上的数值实验结果表明,提出的算法能够有效地提高计算效率和提高网络泛化能力.该算法不仅对RBM的应用领域扩展具有十分积极的实际意义,且为深度学习的应用方法提供一种新的研究思路和借鉴.

• 单位
  湖北经济学院; 中国地质大学（武汉）; 数理学院