为提高说话人识别的准确率,提出一种双模态融合特征的算法。提取韵律特征和伽玛通滤波倒谱系数两种声学特征,计算其统计特性;提取舌、唇和下颌分别相对于鼻梁的发音动作参数,获得参考点发音动作特征;将声学特征和参考点发音动作特征进行融合,对其进行嵌入式特征选择,获得双模态融合特征;通过支持向量机、高斯混合模型-支持向量机进行分类。实验结果表明,参考点发音动作特征识别效果优于传统发音动作特征识别效果,双模态融合特征识别率明显高于单模态特征的识别率,验证了所提方法的有效性。