买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆邮电大学

摘要：本发明属于医学数据处理领域，具体涉及一种医学图像文本对齐模型的训练方法、装置及设备；所述方法包括获取医学图像、增强视图、医学文本和增强文本；采用图像编码器提取图像特征，采用文本编码器提取文本特征；利用多视图监督图像文本对齐获得更为详尽的医学图像和医学文本表征；利用多尺度自注意力与交叉注意力集成对齐策略能在无需外部信息的情况下，通过内部特征的关联性来理解每个模态的上下文信息，还能够学习到跨模态的信息。利用高置信度聚类信息引导正负样本构建算法能够深入挖掘高阶语义信息，使得预训练完成后的模型能够用于医学图像和其成对的医学报告之间精准的配对能力，以及对图像中病灶区域的精准定位能力，辅助医疗病情诊断。

主权项：1.一种医学图像文本对齐模型的训练方法，其特征在于，所述方法包括：获取医学图像以及所述医学图像的增强视图，医学文本以及所述医学文本对应的增强文本；采用图像编码器分别对所述医学图像以及所述增强视图进行处理，得到医学图像的全局特征和局部特征，增强视图的全局特征和局部特征；采用文本编码器分别对所述医学文本以及所述增强文本进行处理，得到医学文本的全局特征和局部特征，增强文本的全局特征和局部特征；采用非线性投影层将各个全局特征和局部特征转换为低维嵌入，得到对应的全局嵌入特征和局部嵌入特征；采用相似度度量对医学图像的全局嵌入特征和对应增强视图的全局嵌入特征对齐，对医学文本的全局嵌入特征和对应增强文本的全局嵌入特征进行对齐，构建多视图自监督图像文本对齐损失；采用集成注意力模块的自注意力单元对医学图像的局部嵌入特征和医学文本的局部嵌入特征处理，得到医学图像自注意力特征和医学文本自注意力特征，采用集成注意力模块的交叉注意力单元对医学文本自注意力特征和医学图像自注意力特征进行处理，得到跨模态文本嵌入特征和跨模态图像嵌入特征；利用跨模态文本嵌入特征和跨模态图像嵌入特征，构建跨模态标记对齐损失；采用融合模块对医学图像的全局嵌入特征和医学文本的全局嵌入特征进行融合，得到跨模态融合特征，采用置信度聚类方法对跨模态融合特征进行聚类，构建高置信度聚类信息引导的正负样本损失；根据多视图自监督图像文本对齐损失、跨模态标记对齐损失以及高置信度聚类信息引导的正负样本损失，训练图像编码器、文本编码器、非线性投影层、集成注意力模块构成的医学图像文本对齐模型，直到达到预设条件。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种医学图像文本对齐模型的训练方法、装置及设备