本发明公开了一种基于偏振的彩色物体三维重建方法,包括:获取待重建目标的多张不同偏振度的偏振图像;根据所述偏振图像进行所述待重建目标的结构三维重建,获得所述待重建目标的结构三维信息;获得所述待重建目标表面的光强与待重建目标表面函数的偏导数之间的映射关系;根据所述映射关系将所述偏振图像的色彩值赋值到所述结构三维信息中,获得携带色彩信息的三维图像信息。本发明的方法仅需利用普通相机跟一个偏振片,就可以进行彩色物体的三维重建,实现三维物体的颜色恢复,且对场景没有特殊要求,应用场景广。