基于MFCC和ResNet的鱼类行为识别

作者：胥婧雯; 于红^*; 李海清; 程思奇; 郑国伟; 谷立帅; 李响; 龚德华; 邢彬彬; 殷雷明

来源：海洋信息技术与应用, 2022, 37(01): 21-27.

• 鱼类
• 行为识别
• 被动水声信号
• ResNet
• MFCC

针对在极暗或无光条件下,采用计算机视觉手段进行鱼类行为识别效果不好的问题,本文提出了利用声音信号识别鱼类行为的方法;通过观察和试验发现鱼类的摄食、游泳等行为具有声音差异小、特征学习难等特点,基于上述发现,提出采用具有较强特征表达能力、能区别细微特征的MFCC (Mel-frequency cepstral coefficient,MFCC)特征系数表示鱼类行为声音信号特征。为有效学习不同鱼类行为的细粒度声音特征,采用残差网络(Residual Neural Network,ResNet)进行低维细节特征与高维语义特征融合,以便更好地保证特征完整性、提高识别效果。为验证所提出方法的有效性,设计了3组对比试验,用大连海洋大学鱼类行为学实验室采集的数据验证了算法的有效性,试验结果表明,鱼类行为识别的正确率、召回率和F1值均达到99%。研究表明,基于MFCC和ResNet的鱼类行为识别方法可以有效识别鱼类的游泳、摄食等行为,为鱼类行为识别研究提供了新思路和新方法。

• 单位
  生命学院; 大连海洋大学