申请/专利权人：中国科学技术大学

申请日：2024-01-12

公开（公告）日：2024-07-05

公开（公告）号：CN117557883B

主分类号：G06V10/80

分类号：G06V10/80;G06V10/82;G06V10/764;G06N3/0442;G06N3/08;G16H15/00

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2024.03.01#实质审查的生效;2024.02.13#公开

摘要：本发明公开了基于病理对齐扩散网络的医疗多模态内容分析及生成方法，将给定图像输入到融合检测模型中，以生成与给定图像相匹配的文本报告；所述融合检测模型的训练过程如下：S1：构建训练集，并将训练集中的图像输送到融合检测模型；S2：提取图像的图像特征；S3：将图像特征与不同粒度的病理信息进行对齐，获得对齐特征；S4：将对齐特征进行特征增强得到增强特征，将对齐特征和增强特征相加后进行归一化操作得到归一化特征，基于归一化特征指导文本生成，得到文本报告；该医疗多模态内容分析及生成方法，解决现有基于自回归式的方法容易出现的错误传播问题，提高生成报告的质量。

主权项：1.基于病理对齐扩散网络的医疗多模态内容分析及生成方法，其特征在于，将给定图像输入到融合检测模型中，以生成与给定图像相匹配的文本报告；所述融合检测模型的训练过程如下：S1：构建训练集，并将训练集中的图像输送到融合检测模型；S2：提取图像的图像特征；S3：将图像特征与不同粒度的病理信息进行对齐，获得对齐特征；S31：利用基于Transformer的多标签分类器作为病理对齐器从图像特征中计算报告粒度对齐特征；S32：利用基于Transformer的多标签分类器作为病理对齐器从图像特征中预测病理标签；S33：计算病理标签的平均池化值，得到病理术语粒度对齐特征；S34：将报告粒度对齐特征和病理术语粒度对齐特征相加并进行归一化操作，得到对齐特征；S4：将对齐特征进行特征增强得到增强特征，将对齐特征和增强特征相加后进行归一化操作得到归一化特征；S5：将归一化特征输送到扩散网络中指导文本生成，得到文本报告；S51：基于视觉特征和归一化特征，利用扩散解码器生成文本报告的终特征向量；用高斯噪声初始化，表示第次迭代所产生的特征向量，并进行迭代降噪得到终特征向量 其中，表示总迭代次数，表示在第次迭代所产生的特征向量，表示在第次迭代所产生的特征向量，表示第次迭代的噪声系数，表示第次迭代的噪声系数，是基于Transformer的扩散网络解码器，表示中间参量，表示图像特征；S52：对终特征向量进行解码操作得到文本报告。

全文数据：

权利要求：

百度查询： 中国科学技术大学 基于病理对齐扩散网络的医疗多模态内容分析及生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD