本发明公开了一种基于机器视觉的捞渣方法及机器人系统,通过视觉技术识别并定位出影响镀锌板质量的厚渣区域,然后根据捞渣区域优先度规则得到捞渣顺序,最后控制捞渣机器人将所有厚渣捞起并倒入附近的渣斗中。相对于传统的机器人捞渣系统,本发明提出了机器视觉的捞渣方案,根据锌渣分布特征及捞渣策略优化确定最优的捞渣顺序,减少了不必要的捞渣次数引起的锌耗及电力损耗,显著提升了捞渣机器人的自主性,提高了作业效率。