摘要

本发明公开了一种基于深度学习的端到端运动控制方法、系统、装置及介质,其中方法包括以下步骤:构建端到端的视觉-运动映射网络模型,以及设计多任务损失函数;采用迁移学习的方法对所述视觉-运动映射网络模型进行联合训练,获得最优的视觉-运动映射模型;采用所述最优的视觉-运动映射模型对移动机器人进行实时运动控制。本发明通过形成视觉感知与运动控制之间的直接映射,将原有的开环系统转换为可控的闭环系统,改善了移动机器人运动控制过程中其控制过程滞后于视觉算法的问题,达到实时控制的效果,可广泛应用于机器人运动控制技术领域。