科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对电熔镁炉识别过程中出现的模态完备性不足问题.本文阐述了一种电熔镁炉多模态信息工况智能识别方法.首先通过语义神经网络提取工况图像特征和双向编码语言模型提取语言特征,构建多模态工况的完备联合特征向量,并通过Transformer编码层实现全局交互,捕捉视觉与语言信息的细粒度对齐.引入自适应Transformer解码层的自注意力机制,采用全连接网络获得多模态工况识别结果.基于强化学习定义门控单元评估策略,实时评估不确定工况识别结果,构建解码层的动态调节机制,以获取多模态工况的细粒度特征,并采用模糊积分集成模型库的识别结果.实验证明了本方法的有效性和鲁棒性.
- 单位
