基于双目内窥镜的在线自监督学习深度估计方法

作者:李霄剑; 郑杰禹; 杨善林; 李玲; 毕良宽; 唐华; 莫杭杰; 欧阳波; 杨聪; **; 屈炎伟
来源:2023-04-14, 中国, CN202310419384.X.

摘要

本发明提供一种基于双目内窥镜的在线自监督学习深度估计方法和系统,涉及深度估计技术领域。本发明基于双模式切换的深度估计网络框架:实时重建模式用于对连续影像视频帧进行过拟合,基于连续帧的相似性,将一对双目图像上的过拟合思想扩展到时间序列上的过拟合,通过在线学习不断更新模型参数,能在各种双目内窥镜手术环境下得到高精度的组织深度;精准测量模式用于对医生选定的关键影像视频帧进行过拟合,实现关键影像视频帧的高精度重构。此外,提出的交叉验证排除了无效区域像素的自监督损失对网络学习的误导,进一步提升深度估计的精度;以及稀疏光流引导,提升网络对新场景的适应性与过拟合速度。