基于多模态深度融合网络可穿戴式导盲设备

作者:汪家琦; 吴泽琨; 王一鸣; 王书平; 丁伊博
来源:科技创新导报, 2019, 16(33): 98-102.
DOI:10.16660/j.cnki.1674-098X.2019.33.098

摘要

本文提出一种基于多模态深度融合网络的可穿戴式导盲眼镜设备的设计方案。本方案配备双目采集、红外测距、图像处理、图像识别、语音播报五大核心功能模块,搭建智能导盲眼镜系统的硬件平台,使用RealSence摄像头对场景进行采集,结合深度学习的算法在远程云服务器上完成了对目标场景的灰度处理,投射呈像,最后以处理过的景象对视障人士的行动作出实时的引导,从而有效帮助视力障碍人士更好地识别场景以及对物体进行分类。同时该设备还配有语音播报和测距等其他功能。