申请/专利权人：天津理工大学

申请日：2024-04-12

公开（公告）日：2024-06-28

公开（公告）号：CN118262115A

主分类号：G06V10/26

分类号：G06V10/26;G06V10/52;G06V10/764;G06V10/80;G06V10/82;G06F16/35;G06F18/25;G06N3/0464;G06N3/0455;G06N3/047

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.07.16#实质审查的生效;2024.06.28#公开

摘要：本发明提出了一种基于文本提示指导的多模态医学图像融合分割方法，旨在解决医学图像分割中存在的挑战。该方法充分利用了现有医学图像数据集，结合了图像特征提取、文本提示融合和注意力机制等关键技术，实现了对多模态医学图像的精准分割。通过将文本提示与多模态图像特征相结合，提高了分割结果的准确性和鲁棒性，为医学研究和临床实践提供了有力支持。该方法不仅能够适用于脑肿瘤等医学图像分割任务，还能够为医学图像领域的自然语言处理和图像处理提供新的思路和可能性。本发明的创新点在于将文本提示引入多模态图像分割中，充分发挥了文本信息的指导作用，为医学图像分析提供了全新的视角和解决方案。

主权项：1.本发明涉及一种基于文本提示指导的多模态医学图像融合分割算法，其特征在于，包括如下步骤：1获取多模态医学图像中常用的BrainTumorSegmentationBraTS数据集，共369组3维图像，并进行数据预处理，归一化后保存为numpy格式图像；2设计图像文本融合分割网络，图像部分包括多个模态特征提取编码器和一个共享特征解码器，文本部分包括两个预训练的模态文本特征提取器和一个类别文本特征提取器；3模态特征提取编码器通过使用U-Net编码器对图像进行多层次语义信息的提取；4使用CLIP模型提取模态文本语义信息，并将提取到的模态文本语义信息与U-Net编码器提取的不同层次图像语义信息进行线性对齐；5利用注意力机制对各模态下的图像语义信息和文本语义信息进行交叉注意融合，并将多个模态的融合结果进行Concatenate数据拼接；图像文本融合后的特征经共享解码器获取初步的分割结果；6使用CLIP模型提取类别文本语义信息，将U-Net提取的图像最深层语义信息与类别文本语义对齐融合，转化为模型参数，指导初步分割结果完成指定的分割要求，得到最终分割结果。7通过计算各类别Dice系数和95％豪斯多夫距离来评估模型的性能。

全文数据：

权利要求：

百度查询： 天津理工大学 基于文本提示指导的多模态医学图像融合分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD