龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：电子科技大学(深圳)高等研究院
摘要：本发明实施例公开了一种基于SAM模型的多模态医学图像分割方法及系统，所述方法包括：构建步骤：构建用于分割多模态医学图像的SAM模型，所述模型包括图像编码器、掩膜解码器、提示编码器、模态编码器和模态感知模块；训练步骤：使用交叉熵损失和Dice损失来训练所述SAM模型；分割步骤：所述SAM模型根据点击提示或者物体框提示输出对多模态医学图像中各个对象的分割结果。本发明通过引入轻量级的模态编码器和模态感知模块，实现了对SAM模型的多模态拓展，避免了对于每一种多模态任务都重新训练大模型的巨大计算开销，提升了医学图像的分割性能，从而实现了SAM在多模态医学图像分割任务中的高效应用，进而提高了诊断的准确性和可靠性。
主权项：1.一种基于SAM模型的多模态医学图像分割方法，其特征在于，包括：构建步骤：构建用于分割多模态医学图像的SAM模型，所述模型包括图像编码器、掩膜解码器、提示编码器、模态编码器和模态感知模块，其中，模态编码器对输入的非PET模态的医学图像进行编码，获取非PET模态的医学图像的非PET特征；模态感知模块根据获取的非PET特征与PET特征进行交互，完成非PET特征的增强并输入至图像编码器；训练步骤：使用交叉熵损失和Dice损失来训练所述SAM模型，得到训练好的SAM模型，其中，在训练过程中冻结图像编码器的参数，以提高训练效率和降低计算资源需求；分割步骤：识别并去除待分割的多个模态的医学图像中的噪声和伪影，得到处理后的多模态医学图像，将处理后的多模态医学图像输入训练好的SAM模型，所述SAM模型根据点击提示或者物体框提示输出对多模态医学图像中各个对象的分割结果；模态感知模块包括两个跨模态注意力模块，两个跨模态注意力模块分别完成非PET特征到PET特征的增强和完成PET特征对非PET特征的增强，PET特征的增强过程公式为： ；非PET特征的增强过程公式为： ；其中，；为所述SAM模型的第层的非PET特征，为所述SAM模型的第层的PET特征，表示PET模态的医学图像关注到的非PET特征信息，为增强后的PET特征，表示跨模态注意力计算。
全文数据：
权利要求：
百度查询： 电子科技大学(深圳)高等研究院 基于SAM模型的多模态医学图像分割方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号