摘要

零件装配是产品制造过程中的关键步骤,在装配环节中,依靠机器视觉与人工智能算法进行监督,能够有效提高装配准确率,及时识别装配错误或缺漏,降低检验及错装、漏装处理成本。针对部分视觉导引装配场景涉及拆卸、重新组装及零部件体积较小、非固定相对位置的情形,以及现有依赖物料与装配体的识别方法视线易受遮挡、可识别装配步骤有限的问题,提出了基于手部特征点空间位姿信息的动态手势数据集构建方法及结合手部特征点空间域与时序信息的动态手势识别方法。通过进一步处理基于二维视觉采集识别的手部关键点,提取特定装配动作的手部空间位姿信息与手势时序信息,并利用改进的循环神经网络、卷积神经网络等算法模型进行识别。通过对不同识别方法在不同动态手势数据集上的训练结果进行对比,验证了该场景下特定数据采集方式与算法模型组合在装配动作智能识别上的有效性。

全文