买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明涉及面向胸部放射医学报告生成的跨模态信息增强方法。包括以下步骤:首先,使用视觉特征提取器和文本特征提取器分别提取多尺度影像视觉特征和多尺度报告文本特征;其次,将提取到的多尺度影像视觉特征和多尺度文本特征,通过跨模态对齐模块,来强化视觉‑文本特征的映射关系;然后,将对齐后的特征信息输入到跨模态注意力模块中,获取模式信息并更新存储到记忆矩阵中,从而使跨模态信息进一步增强;最后,采用报告生成模块,将经过编码后的视觉特征和增强后的跨模态信息共同输入到该模块中,生成最终的诊断报告。在医学报告生成公开数据集上得到的实验结果表明,本方法能有效提高医学报告生成的准确性和有效性。
主权项:1.一种面向胸部放射报告生成的跨模态信息增强方法,其特征在于,所述方法具体包括如下:步骤1、采用视觉特征提取器和文本特征提取器分别提取多尺度影像视觉特征和多尺度报告文本特征;步骤2、采用跨模态对齐模块,将多尺度视觉特征和多尺度文本特征进行两次不同尺度的对齐,以强化视觉-文本特征的映射关系;步骤3、将对齐后的跨模态特征输入到跨模态注意力模块中,获取模式信息并存入记忆矩阵中,通过记忆矩阵的帮助使跨模态信息得到进一步的增强;步骤4、采用报告生成模块,将编码后的视觉特征和增强后的跨模态信息共同输入给解码器,得到最终的诊断报告。
全文数据:
权利要求:
百度查询: 昆明理工大学 一种面向胸部放射报告生成的跨模态信息增强方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。