本发明提供了一种基于时空维度的特征提取系统、视频质量评价系统,特征提取系统包括图像特征提取模块;视频特征提取模块;时间权重处理模块和语义特征提取模块,用于得到基于时空维度的目标特征。本发明通过改变视频特征向量在时间维度上的通道数的方式,进行不同时间段的权重分配,随后通过改变视频向量在空间维度上的通道数的方式,对高维语义特征和低维语义特征进行拼接重挖掘,使得最终得到的时空维度的特征矩阵更符合人眼主观感知,与人眼主观感知的相关性更高,准确性更高。