龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国海洋大学
摘要：本发明属于视觉问答技术领域，公开了面向遥感视觉问答的位置和语义优化方法及系统，分为文本流和海洋遥感图像流，包括以下步骤：步骤S1、输入海洋遥感图像和文本；步骤S2、跨模态语境融合：通过交叉模态位置约束注意力机制来整合文本和海洋遥感图像信息，生成交叉模态特征；步骤S3、语义推理：通过语义图Transformer提取语义图Gs中的语义信息，得到最后的细化语义信息；最后输出预测分类头，得到预测答案。通过本发明增强视觉问答系统的对多阶知识的感知，增强推理能力，获得准确的预测结果。
主权项：1.面向遥感视觉问答的位置和语义优化方法，其特征在于，分为文本流和海洋遥感图像流，包括以下步骤：步骤S1、输入海洋遥感图像和文本；步骤S2、跨模态语境融合：通过交叉模态位置约束注意力机制来整合文本和海洋遥感图像信息，生成交叉模态特征；具体如下：步骤S21、单模态表征：将海洋遥感图像和文本数据分别通过图像编码器和文本编码器提取图像和文本特征，表示为Xi，然后Xi通过基于Transformer的多头注意力机制和残差机制进行编码，得到单模态表征，其中i表示模态，图像模态采用表示，文本模态采用表示；S22、多模态融合：对于步骤S21得到的图像模态表征和文本模态表征，通过交叉模态位置约束注意力机制进行加权约束，输出约束后的多模态表征Xc，Xc与图像模态表征、文本模态表征进行融合，得到交叉模态特征，用于后续图建模；步骤S3、语义推理：首先，将步骤S2得到的交叉模态特征通过关系图卷积网络进行图建模，获得语义图Gs；然后，计算语义编码和相对位置编码，并输入到语义图Transformer，通过语义图Transformer提取语义图Gs中的语义信息，得到最后的细化语义信息；最后输出预测分类头，得到预测答案。
全文数据：
权利要求：
百度查询： 中国海洋大学 面向遥感视觉问答的位置和语义优化方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号