本发明涉及一种面向公交车的乘客对司机的暴力行为识别系统和方法,其系统包括处理器模块、视频采集模块以及语音采集模块;处理器模块包括视频语音数据采集模型、视频流识别模型、语音流识别模型和决策融合模型;处理器模块分别与视频采集模块和语音采集模块连接。本发明面向公交车的乘客对司机的暴力行为识别系统,利用视频和语音对场景进行多模态识别,增加了对场景识别的准确性。