首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于注意力机制的多模态特征融合方法及系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:汕头大学医学院;郑州大学

摘要:本发明涉及人工智能领域,尤其是基于一种基于注意力机制的多模态特征融合方法,具体地,计算图像的每个注意力头输出的注意力矩阵以及多头注意力矩阵;计算词项的每个注意力头输出的注意力矩阵以及多头注意力矩阵;将图像对应的多头注意力矩阵拼接到词项对应的每个注意力头输出的注意力矩阵上,计算得到以词项为基准的融合特征矩阵;将词项对应的多头注意力矩阵拼接到图像对应的每个注意力头输出的注意力矩阵上,计算得到以图像为基准的融合特征矩阵;将两个多头注意力矩阵和两个融合特征矩阵再次进行融合。本发明采用注意力机制将注意力关注在对预测结果影响大的词项和图像块,提高了预测准确性。

主权项:1.一种基于注意力机制的多模态特征融合方法,其特征在于,所述方法包括以下步骤:将MRI或者CT图像分割为多个相同大小的图像块,计算图像对应的每个注意力头输出的注意力矩阵以及所有注意力头拼接并经过权重矩阵后的多头注意力矩阵;计算词项对应的每个注意力头输出的注意力矩阵以及所有注意力头拼接并经过权重矩阵后的多头注意力矩阵;将图像对应的多头注意力矩阵拼接到词项对应的每个注意力头输出的注意力矩阵上,计算得到以词项为基准的融合特征矩阵;将词项对应的多头注意力矩阵拼接到图像对应的每个注意力头输出的注意力矩阵上,计算得到以图像为基准的融合特征矩阵;基于图像对应的多头注意力矩阵、词项对应的多头注意力矩阵、以及以词项为基准的融合特征矩阵、以图像为基准的融合特征矩阵得到图像和词项的融合特征图;所述基于图像对应的多头注意力矩阵、词项对应的多头注意力矩阵、以及以词项为基准的融合特征矩阵、以图像为基准的融合特征矩阵得到图像和词项的融合特征图,具体为:将图像对应的多头注意力矩阵垂直拼接到词项对应的多头注意力矩阵上方,并将垂直拼接的结果和以词项为基准的融合特征矩阵、以图像为基准的融合特征矩阵组成三个通道的特征图;所述将图像对应的多头注意力矩阵拼接到词项对应的每个注意力头输出的注意力矩阵上,计算得到以词项为基准的融合特征矩阵,具体为:将图像对应的多头注意力矩阵垂直拼接到词项对应的每个注意力头输出的注意力矩阵上方;将多个垂直拼接后的矩阵再进行水平拼接,通过一个权重矩阵计算得到的矩阵作为以词项为基准的融合特征矩阵;所述将词项对应的多头注意力矩阵拼接到图像对应的每个注意力头输出的注意力矩阵上,计算得到以图像为基准的融合特征矩阵,具体为:将词项对应的多头注意力矩阵垂直拼接到图像对应的每个注意力头输出的注意力矩阵下方;将多个垂直拼接后的矩阵再进行水平拼接,通过一个权重矩阵计算得到的矩阵作为以图像为基准的融合特征矩阵。

全文数据:

权利要求:

百度查询: 汕头大学医学院 郑州大学 一种基于注意力机制的多模态特征融合方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。