买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京工业大学

摘要：本发明公开了基于注意力机制的多模态融合地面污迹识别方法及系统包括，获取地面污迹多模态数据，并对地面污迹多模态数据进行预处理，得到多模态数据集；构建基于注意力机制的多模态融合神经网络模型，多模态融合神经网络模型包括地面图像数据特征提取网络，气体浓度数据特征提取网络，基于注意力机制的多模态特征融合网络和决策网络；将多模态数据集输入基于注意力机制的多模态融合神经网络模型中进行训练；对训练好的模型输入地面污迹实时多模态信息，根据模型输出获取地面污迹的识别结果。本发明能够有效地识别颜色相近或透明的地面污迹，对地面纹理等要求较低，且细粒度识别较高。

主权项：1.基于注意力机制的多模态融合地面污迹识别方法，其特征在于，包括：获取地面污迹多模态数据，并对所述地面污迹多模态数据进行预处理，得到多模态数据集；所述地面污迹多模态数据包括地面图像数据和气体浓度数据；采用第一预处理方法对所述地面图像数据进行预处理；采用第二预处理方法对所述气体浓度数据进行预处理；所述多模态数据集由经过预处理的地面图像数据和气体浓度数据和标签信息构成，所述标签信息为当前时刻地面污迹种类；构建基于注意力机制的多模态融合神经网络模型，所述多模态融合神经网络模型包括地面图像数据特征提取网络，气体浓度数据特征提取网络，基于注意力机制的多模态特征融合网络和决策网络；所述构建基于注意力机制的多模态融合神经网络模型包括：所述地面图像数据特征提取网络为四层结构，对于输入的地面图像数据，第一层为输出特征图分辨率下采样的4倍，通道数翻倍的残差结构；所述地面图像数据特征提取网络的第二层、第三层、第四层结构相同均为输出特征图分辨率不变，通道数逐层二倍增加的残差结构；所述气体浓度数据特征提取网络为三层结构，对于输入的气体浓度数据，第一层为输出特征图分辨率下采样的2倍，通道数翻倍的残差结构；所述气体浓度数据特征提取网络的第二层、第三层结构相同，均为输出特征图分辨率不变，通道数逐层二倍增加的残差结构；所述气体浓度数据特征提取网络的第二层、第三层的结构与所述地面图像数据特征提取网络的第二层、第三层的结构相同；所述构建基于注意力机制的多模态融合神经网络模型还包括：所述基于注意力机制的多模态特征融合网络包括5次基于注意力机制的多模态特征融合操作；所述基于注意力机制的多模态特征融合操作包括将地面图像数据特征提取网络与气体浓度数据特征提取网络输出的特征图进行块数划分，并获取每个块的维度，根据划分结果以及维度数值确定输入嵌入矩阵；添加位置编码，保留所述特征图中位置信息，将位置编码矩阵逐元素累加到嵌入向量中对应位置；对于每个位置的嵌入向量，计算其与其他位置的相关性，获取全局上下文信息；通过一个两层的前馈神经网络对特征进行非线性变换，将经过二维批量归一化处理后的结果作为输出；将所述多模态数据集输入基于注意力机制的多模态融合神经网络模型中进行训练；对训练好的模型输入地面污迹实时多模态信息，根据模型输出获取地面污迹的识别结果。

全文数据：

权利要求：

百度查询： 南京工业大学 基于注意力机制的多模态融合地面污迹识别方法及系统