买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院自动化研究所

摘要：本发明涉及一种多模特征信息的获取方法及系统、电子设备及存储介质。多模特征信息的获取方法为通过卷积神经网络和激活函数对至少两个第一模态特征信息进行全局校准，得到至少两个第二模态特征信息，至少两个第一模态特征信息为通过多层感知机对至少两个第三模态特征信息进行自校准得到，至少两个第三模态特征信息对应至少两个模态图像；通过注意力机制对至少两个第一模态特征信息进行局部校准，得到至少两个第四模态特征信息；对至少两个第二模态特征信息、至少两个第三模态特征信息以及至少两个第四模态特征信息进行处理得到至少两个第五模态特征信息；对至少两个第五模态特征信息的位置特征信息和纹理特征信息进行融合得到多模特征信息。

主权项：1.一种多模特征信息的获取方法，其特征在于，包括：通过卷积神经网络和激活函数对至少两个第一模态特征信息进行全局校准，得到至少两个第二模态特征信息，其中，至少两个所述第一模态特征信息为通过多层感知机对至少两个第三模态特征信息进行自校准得到，至少两个所述第三模态特征信息对应至少两个模态图像；其中，所述全局校准包括：对至少两个所述第一模态特征信息进行池化操作；将池化后的至少两个所述第一模态特征信息基于至少两个所述第一模态特征信息之间的互补关系进行拼接，得到全局特征信息；根据所述全局特征信息、所述卷积神经网络以及所述激活函数得到第一校准权重；根据所述第一校准权重对至少两个所述第一模态特征信息进行校准，得到至少两个所述第二模态特征信息；所述自校准包括：对至少两个所述第三模态特征信息进行池化操作；根据多层感知机和池化后的至少两个所述第三模态特征信息，得到至少两个通道注意力的权重；根据至少两个所述通道注意力的权重分别对至少两个所述第三模态特征信息进行自校准，得到至少两个所述第一模态特征信息；通过注意力机制对至少两个所述第一模态特征信息进行局部校准，得到至少两个第四模态特征信息；其中，所述局部校准包括：获取至少两个像素特征信息，其中，至少两个所述像素特征信息对应至少两个所述模态图像；根据所述注意力机制对至少两个所述像素特征信息进行处理，得到第二校准权重；根据所述第二校准权重对至少两个所述第一模态特征信息进行校准，得到至少两个所述第四模态特征信息；根据对应的关系对至少两个所述第二模态特征信息、至少两个所述第三模态特征信息以及至少两个所述第四模态特征信息进行求和处理得到至少两个第五模态特征信息；对至少两个所述第五模态特征信息经过特征提取得到的位置特征信息和纹理特征信息进行融合，得到多模特征信息；其中，所述进行融合包括：通过门控函数对至少两个所述第五模态特征信息的位置特征信息进行处理；通过门控函数对至少两个所述第五模态特征信息的纹理特征信息进行处理；通过门控函数对处理后的至少两个所述第五模态特征信息的位置特征信息和处理后的至少两个所述第五模态特征信息的纹理特征信息进行融合，得到所述多模特征信息。

全文数据：

权利要求：

百度查询： 中国科学院自动化研究所 多模特征信息的获取方法及系统、电子设备及存储介质