买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州大学

摘要：本发明涉及计算机图像处理领域。本发明提出一种多模态视网膜分类方法，互补性特征提取阶段中，OCT‑A和OCT图像分别通过特征提取器和前馈神经网络进行特征提取，随后经过组增强交叉变换器和组增强自变换器进行特征融合，并将互补特征存储在互补性内存池中。当网络完成互补性特征提取，网络进入一致性特征提取阶段。一致性特征提取阶段的结构在互补性提取阶段的基础上加入了跨模态交互蒸馏损失，主要用于提取来自不同模态的一致性特征，并将其与互补性特征进行融合。可以高效获取与融合来自不同模态间的互补性和一致性特征，在多模态融合的视网膜疾病分类任务，可有效提高分类的准确率。

主权项：1.一种多模态视网膜眼底图像分类方法，其特征在于：包括：S1:获取待分类的视网膜眼底OCT-A和OCT图像；S2:利用构建包括双阶段损失函数的多模态分类网络对获取的视网膜眼底OCT-A和OCT图像进行特征提取并融合，包括：S21：利用多模态分类网络中互补特征提取阶段网络提取OCT-A和OCT图像的互补性特征，包括：利用互补特征提取阶段网络中两个特征提取基准网络分别提取OCT-A和OCT图像的互补性二维深层特征；利用构建的序列化模块将得到的OCT-A和OCT图像的互补性二维深层特征转换为OCT-A和OCT图像的互补性一维深层特征序列；利用构建的融合变换器将得到的OCT-A和OCT图像的互补性一维深层特征序列进行融合得到不同模态的互补性特征并将其存储于互补性内存池中；S22：利用多模态分类网络中一致性特征提取阶段网络提取OCT-A和OCT图像的一致性特征并将其与互补性内存池中的互补性特征进行融合，包括：利用构建的跨模态掩码交互蒸馏损失函数调整一致性特征提取阶段网络中两个特征提取基准网络对OCT-A和OCT图像特征提取的感知区域，减少一致性特征提取阶段网络中两个特征提取基准网络对于OCT-A和OCT图像的感知区域差异；利用经过调整的一致性特征提取阶段网络中两个特征提取基准网络分别提取OCT-A和OCT图像的一致性二维深层特征；利用构建的序列化模块将得到的OCT-A和OCT图像的一致性二维深层特征转换为OCT-A和OCT图像的一致性一维深层特征序列作为OCT-A和OCT图像的一致性特征；利用构建的融合变换器将得到的OCT-A和OCT图像的一致性特征与互补特征提取阶段网络的互补池中的互补性特征进行融合；S3:将融合后的特征经过分类头分类并输出。

全文数据：

权利要求：

百度查询： 苏州大学 一种多模态视网膜眼底图像分类方法