摘要
本发明提供一种面向腹腔镜手术导航的三维网格模型配准融合系统,涉及腹腔镜手术导航技术领域。本发明提供的三维网格模型配准融合系统引入的网格数据,较传统的点云考虑模型的顶点间的连接关系,提高了后续多模融合的精度;并可以向医生呈现组织内部信息,辅助医生做出临床决策,减少手术风险的同时提高手术效率。其中,该系统基于真实数据通过人工标注和插值的方法生成训练数据,以有监督的方式训练多模配准融合网络,最后通过无监督微调进一步提高配准精度。此外,引入的基于双目内窥镜的在线自监督学习深度估计方法,其所使用的双目深度估计网络具有快速过学习的能力,能够利用自监督信息不断适应新场景,进而确保术中组织网格模型的精度。
- 单位