买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川大学

摘要：本发明涉及医学影像技术领域，具体涉及一种基于多模态多粒度特征的胸部X光影像预训练方法及系统。该方法包括：构建基于多模态多粒度特征的胸部X光影像数据集，数据集包括胸部X光影像和相关的放射学报告；利用预训练的FasterR‑CNN模型对影像进行解剖学部位的标注，并将放射学报告进行结构化处理，将文本信息与解剖学部位标注相关联；构建多模态多粒度特征提取与融合模型，通过基于Transformer的Beit和Bert模型分别提取图像和文本的粗粒度与细粒度特征，并通过基于双向注意力机制的网络融合这些特征；最后，训练所述模型，使用多种损失函数以优化模型性能，并进行系统测试。该方法旨在提高胸部X射线影像的自动化和智能化判断能力，增强医学诊断的准确性和效率。

主权项：1.一种基于多模态多粒度特征的胸部X光影像预训练方法，其特征在于，包括以下步骤：S1、构建基于多模态多粒度特征的胸部X光影像数据集，进一步包括以下步骤：S11、获取MIMIC-CXR数据集；所述MIMIC-CXR数据集包括胸部X光影像和放射学报告；S121、使用预训练的FasterR-CNN模型对所述胸部X光影像进行分析，并标注所述胸部X光影像中的解剖学部位，获取解剖学部位标注；S122、对所述放射学报告进行结构化处理，获取结构化放射学报告；所述结构化放射学报告包括放射学报告中文本信息与所述解剖学部位标注的关联关系；S13、构建基于多模态多粒度特征的胸部X光影像数据集；所述基于多模态多粒度特征的胸部X光影像数据集具体包括所述胸部X光影像、所诉结构化放射学报告、所诉解剖学部位标注；所述胸部X光影像、所述放射学报告为粗粒度特征；所述解剖学部位标注、所述关联关系为细粒度特征；S2、构建多模态多粒度特征提取与融合模型，所述多模态多粒度特征提取与融合模型包括多模态多粒度特征提取子模型、多模态多粒度特征融合子模型；包括以下步骤：S21、对所述胸部X光影像进行图像预处理，获取图像输入序列；S22、提取多模态多粒度特征，具体包括：使用基于Transformer的Beit模型架构的粗粒度特征提取器提取所述图像输入序列的粗粒度特征；使用区域特征提取器提取所述图像输入序列的细粒度特征；使用基于Transformer的Bert模型提取所述文本数据的粗粒度特征和细粒度特征；S23、将所述多模态多粒度特征输入基于双向注意力机制的多模态多粒度特征融合网络，对每种模态生成查询、键和值矩阵，并计算模态间的自注意得分和交叉注意力得分；利用所述自注意得分和所述交叉注意力得分，迭代更新所述多模态多粒度特征；S3、使用多种损失函数预训练所述多模态多粒度特征提取与融合模型，优化多模态多粒度特征提取与融合模型参数；所述损失函数包括匹配损失函数、对比损失函数、掩码重建损失和边界框预测损失；所述匹配损失函数用于衡量不同模态特征之间的关联关系；所述对比损失函数用于区别不同类别或特征；所述掩码重建损失用于在输入数据中部分信息被掩盖的情况下重建原始数据；所述边界框预测损失用于目标检测任务；S4、测试并检验所述多模态多粒度特征的胸部X光影像预训练方法。

全文数据：

权利要求：

百度查询： 四川大学 基于多模态多粒度特征的胸部X光影像预训练方法及系统