科研之友
微信
新浪微博
Facebook
分享链接
摘要
准确识别定位采摘点，根据果梗方向，确定合适的采摘姿态，是机器人实现高效、无损采摘的关键。由于番茄串的采摘背景复杂，果实颜色、形状各异，果梗姿态多样，叶子藤枝干扰等因素，降低了采摘点识别准确率和采摘成功率。针对这个问题，考虑番茄串生长特性，提出基于实例分割的番茄串视觉定位与采摘姿态估算方法。首先基于YOLACT实例分割算法的实例特征标准化和掩膜评分机制，保证番茄串和果梗感兴趣区域 (Region of interest， ROI)、掩膜质量和可靠性，实现果梗粗分割；通过果梗掩膜信息和ROI位置关系匹配可采摘果梗，基于细化算法、膨胀操作和果梗形态特征实现果梗精细分割；再通过果梗深度信息填补法与深度信息融合，精确定位采摘点坐标。然后利用果梗几何特征、八邻域端点检测算法识别果梗关键点预测果梗姿态，并根据果梗姿态确定适合采摘的末端执行器姿态，引导机械臂完成采摘。研究和大量现场试验结果表明，提出的方法在复杂采摘环境中具有较高的定位精度和稳定性，对4个品种的番茄串采摘点平均识别成功率为98.07%，图像分辨率为1280像素×720像素时算法处理速率达到21f/s，采摘点图像坐标最大定位误差为3像素，深度误差±4mm，成功定位采摘点后采摘成功率为98.15%。与现有的同类方法相比，采摘点图像坐标定位精度提高76.80个百分点，采摘成功率提高15.17个百分点，采摘效率提高31.18个百分点，满足非结构化种植环境中番茄串采摘需求。
- 单位
