本发明公开了一种基于自适应隐马尔可夫的多特征融合手语识别方法,包括:1、首先对手语视频数据库提取多种特征并进行前端融合,即构建特征池集合;之后构建各手语视频在特征池集合中不同特征下的自适应隐马尔可夫模型,并提出了一种特征选择策略,以得到合适的后端得分融合特征;选择好后端得分融合特征之后,计算各后端得分融合特征下的得分向量,为其分配不同的权重,再进行后端得分融合,从而得到最优的融合效果。本发明能够实现对手语视频手语类别的精确识别,并提高识别的鲁棒性。