针对说话人确认识别率不高及实时性差的问题,在深入研究传统高斯混合模型以及K均值聚类算法的基础上提出两种基于说话人高斯混合模型的说话人聚类算法:KL散度聚类算法和巴氏距离聚类算法。根据不同的聚类算法,得到各个类的聚类中心模型,将其作为SVM的输入得出最终识别结果。仿真实验将两种聚类算法进行详细的分析比较,实验结果显示巴氏距离聚类算法具有较好的识别性能和抗噪性。