针对深度学习模型在对小样本进行训练时会出现过拟合现象,提出随机退出优化方法和随机下降连接优化方法.这两种方法针对深度学习模型的微调阶段进行改进,最大限度减少由于训练数据量较少使得深层网络模型训练出现过拟合现象,并且使权值的更新过程更具有独立性,而不是依赖于有固定关系的隐层节点间的作用,同时可以降低识别错误率.对自建孤立语音词汇库进行了训练和识别,结果表明,在深度信念网络的基础上引入随机退出优化方法和随机下降连接优化方法可以提升识别率,缓解过拟合现象.