买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜上海大学申请的专利基于多模态对比学习放射学报告生成模型训练方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115293128B 。

龙图腾网通过国家知识产权局官网在2025-05-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210931458.3，技术领域涉及：G06F40/194；该发明授权基于多模态对比学习放射学报告生成模型训练方法及系统是由武星;李婧雯设计研发完成，并于2022-08-04向国家知识产权局提交的专利申请。

本基于多模态对比学习放射学报告生成模型训练方法及系统在说明书摘要公布了：本发明揭示了一种基于多模态对比学习的放射学报告生成模型训练方法及系统，包括：采用自监督的表征学习方法，基于对比学习的句子级别的训练策略学习句子表征，通过成对的图像和文本之间的双向对比学习得到图像表征；然后将所学的图像编码器和句子编码器嵌入放射学报告生成模型，通过编码‑解码过程生成报告的Impression部分，融合视觉特征和语义特征递归生成报告的Findings部分。本发明提供的基于多模态对比学习的放射学报告生成模型训练方法及系统，优化了对图像和文本的表征，实现了放射学报告生成任务，可以辅助放射科医生作出诊断，并提升诊断过程中的准确性。

本发明授权基于多模态对比学习放射学报告生成模型训练方法及系统在权利要求书中公布了：1.一种基于多模态对比学习放射学报告生成模型训练方法，其特征在于，包括以下步骤：S100、样本数据采集：采集放射学影像以及文本数据，并将影像数据和相对应的文本数据传输至样本数据库，其中，每个文本数据包含一个结论性的诊断语句Impression和一段详细的描述段落Findings；S200、多模态对比学习：采用自监督的表征学习方法，基于样本数据库学习得到用于影像数据中的视觉特征的图像编码器和用于提取文本数据中的语义特征的句子编码器，其中：句子编码器通过基于对比学习的句子级别的训练策略学习句子表征；图像编码器通过成对的影像数据和文本数据之间的双向对比学习目标来学习图像表征；S300、放射学报告生成：通过融合由图像编码器提取到的视觉特征和由句子编码器提取到的语义特征，递归地生成放射学报告的诊断语句Impression和描述段落Findings，具体包括以下步骤：S301、由Impression生成模块基于编码器-解码器框架，生成单个的诊断语句Impression，具体包括以下步骤：图像编码器从输入图像中提取视觉特征，然后将其送入Impression部分句子解码器，逐字生成整个句子作为诊断语句Impression；S302、由Findings生成模块将图像的视觉特征和句子的语义特征相融合，循环生成句子，最终生成一个包含多个结构性语句的长段落，具体包括以下步骤：在Findings生成模块中，为了使生成的句子专注于描述不同的图像区域，基于注意力框架，图像编码器输出的视觉特征和句子编码器输出的前一个句子的语义特征被输入一个全连接层，然后再送入SoftMax层以获得加权的视觉特征，加权的视觉特征被送入Findings部分句子解码器，由Findings部分句子解码器获得句子的编码，将句子的编码作为前一个句子的编码输入句子编码器，输入句子编码器，从而获得新的加权的视觉特征，这个过程不断重复，直到Findings部分句子解码器产生一个空的句子，这表明描述段落Findings的生成已经完成；其中，通过加权的视觉特征将前一个句子的编码和图像的视觉特征被结合起来来指导下一个句子的生成，用于计算加权视觉表征的注意力网络定义为：Vw＝Attentionv,s其中，Vw是要得到的加权视觉表征；Attention是注意力函数；v＝{v1,v2,…,vk}，是图像编码器学习的图像特征，每个特征vi都是一个dv维度的表示，对应于图像的一部分；代表前一句的编码，ds是语义特征的维度；鉴于视觉特征和前一句的编码，通过一个单一的注意力分配器在图像的K个区域产生注意力分布，通过一个单层的神经网络和一个SoftMax函数表示： α＝softmaxz式中：是一个矢量，所有元素都设为1；是注意力网络的参数；是注意对v,s中v中特征的权重；基于注意力分布，加权的视觉表示Vw通过以下方式得到： 式中，αi是α中的第i维元素；S400、报告分析评估：使用评价指标来评价所生成的放射学报告：S500、结果输出：将分别生成的诊断语句Impression和描述段落Findings组合成一段完整的放射学报告进行输出，同时实现用多个评价指标来评估输出结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海大学，其通讯地址为：200436 上海市宝山区上大路99号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。