买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连海洋大学

摘要：本发明属于智能识别技术领域，提出了一种基于多模态交互融合网络的鱼类行为识别方法，要点在于构建包括全局平均池化层模块、多模态学习及融合模块、TAP模块、全连接层模块和Softmax分类器模块的Mul‑SEResNet50模型；将图像数据和Mel声谱图特征数据输入全局平均池化层模块得到视觉特征和声音特征；将视觉特征和声音特征输入多模态学习及融合模块得到多模态融合特征；将多模态融合特征输入TAP模块得到深层多模态融合特征向量；将深层多模态融合特征向量输入全连接层模块得到多模态融合特征整合信息；将多模态融合特征整合信息输入Softmax分类器模块，输出鱼类行为识别结果。本发明充分利用不同模态的信息，且能够更好地保留鱼类声音的最佳特征信息，识别准确率较高。

主权项：1.一种基于多模态交互融合网络的鱼类行为识别方法，其特征在于，包括如下步骤：S1.采集水域中鱼类的声音信号和视频数据，对所述声音信号和视频数据进行预处理，得到包括音频数据和图像数据的多模态数据集；S2.通过Mel声谱图特征提取方法对步骤1预处理后的所述多模态数据集中的所述音频数据进行声音特征提取，得到鱼类音频的Mel声谱图特征数据；S3.构建Mul-SEResNet50模型，所述Mul-SEResNet50模型包括全局平均池化层模块、多模态学习及融合模块、TAP模块、全连接层模块和Softmax分类器模块；S4.将步骤S1得到的所述图像数据和步骤S2得到的Mel声谱图特征数据输入步骤S3构建的所述Mul-SEResNet50模型中的所述全局平均池化层模块，所述全局平均池化层模块将所述图像数据进行降维处理和压缩，得到视觉特征，所述全局平均池化层模块将所述Mel声谱图特征数据进行降维处理和压缩，得到声音特征；S5.将步骤S4得到的所述视觉特征和声音特征输入所述多模态学习及融合模块，所述多模态学习及融合模块包括视觉特征提取模块、声音特征提取模块和特征融合模块，所述视觉特征提取模块对所述视觉特征进行逐级提取，所述声音特征提取模块对所述声音特征进行逐级提取，所述特征融合模块将所述视觉特征和声音特征逐级提取的结果进行交互和融合，得到多模态融合特征；S6.将步骤S5得到的所述多模态融合特征输入所述TAP模块，所述多模态融合特征经过卷积处理后得到多模态融合特征向量，将所述多模态融合特征向量同时进行平均池化和最大池化并将输出结果进行拼接，得到深层多模态融合特征向量；S7.将步骤S6得到的所述深层多模态融合特征向量输入所述全连接层模块进行信息整合，得到多模态融合特征整合信息；S8.将步骤S7得到的所述多模态融合特征整合信息输入所述Softmax分类器模块进行分类，输出鱼类行为识别结果。

全文数据：

权利要求：

百度查询： 大连海洋大学 一种基于多模态交互融合网络的鱼类行为识别方法