本发明公开了一种多人对话系统的情绪识别模型,包括S1提取数据集中的特征,所述特征包括文本特征及语音特征;S2根据文本特征及语音特征,构建改进的DialogueRNN网络;S3训练改进的DialogueRNN网络,得到最终的声学模型即情绪识别模型。本发明在考虑模型对现实多人对话场景的建模能力、对上下文信息提取能力及模型的大小等方面的因素下,通过引入Listener的Party State和不同人的Emotion State,提高了DialogueRNN情绪识别模型的性能。