买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：临沂大学

摘要：本发明涉及一种基于Transformer与CNN的视盘和视杯分割方法，属于深度学习技术领域，包括以下步骤：S1.获取待分割的图像数据；S2.将所述图像数据输入到训练好的基于Transformer与CNN的视盘和视杯分割模型，其中，基于Transformer与CNN的视盘和视杯分割模型的骨干网络为TransUNet网络，所述TransUNet网络包括编码器CNN模块、编码器Transformer模块和解码器模块；S3.根据所述图像数据以及所述基于Transformer与CNN的视盘和视杯分割模型，得到视盘和视杯分割结果。本发明通过引入TransUnet作为骨干网络，并且对该网络进行优化，提高了对视盘和视杯分割的准确性和鲁棒性。

主权项：1.一种基于Transformer与CNN的视盘和视杯分割方法，其特征在于，包括以下步骤：S1.获取待分割的图像数据；S2.将所述图像数据输入到训练好的基于Transformer与CNN的视盘和视杯分割模型，其中，基于Transformer与CNN的视盘和视杯分割模型的骨干网络为TransUNet网络，所述TransUNet网络包括编码器CNN模块、编码器Transformer模块和解码器模块；S3.根据所述图像数据以及基于Transformer与CNN的视盘和视杯分割模型，得到视盘和视杯分割结果；所述基于Transformer与CNN的视盘和视杯分割模型的训练过程包括以下步骤：S2-1.获取视盘和视杯数据集；S2-2.将所述视盘和视杯数据集中图像输入到编码器CNN模块，得到图像的局部特征图；所述将所述视盘和视杯数据集中图片输入到编码器CNN模块，得到图像的局部特征图，具体包括：首先把编码器CNN模块接收到的原始特征图x传入到一个卷积核大小为1×1的深度可分离卷积中进行卷积，同时把该原始特征图x分别传入到卷积核大小为3×3和5×5的深度可分离卷积中进行卷积，得到三种卷积核处理的特征图，然后将三种卷积核处理的特征图进行相加，得到相加后的特征图X1，再将相加后的特征图X1分别传入到大小为1×1和3×3的深度可分离卷积中进行卷积，并把得到的特征图再进行相加，得到特征图X2，最后把特征图X2传入到一个1×1的深度可分离卷积中进行卷积，并与通过一个1×1的深度可分离卷积的原始特征图x进行相加，得到图像的局部特征X3，层级卷积融合模块的具体操作公式如下： （1） （2） （3）其中，DW表示深度可分离卷积操作，下角标1、3、5表示卷积核的大小，Conv表示一个1×1的普通卷积操作；S2-3.将所述图像的局部特征图输入到编码器Transformer模块，得到编码特征表示；S2-4.将编码特征表示输入到解码器模块，得到视盘和视杯分割结果；所述解码器中采用多尺度通道交叉融合模块代替TransUNet网络中的传统跳跃连接，所述多尺度通道交叉融合模块中的操作具体包括：多尺度通道交叉融合模块把编码器和解码器输出的特征图按照通道分成四份，其中，编码器每层输出的特征图分别为m1、m2、m3、m4，解码器每层输出的特征图分别为n1、n2、n3、n4,对解码器输出的特征图和编码器输出的特征图进行两两融合，然后把融合后的特征图分别传入膨胀因子为1、2、5、7的膨胀卷积中，将进行完膨胀卷积的特征图w按通道进行拼接，得到拼接后的特征图O，多尺度通道交叉融合模块具体操作公式如下： （4） （5） （6） （7）其中m表示解码器每一层的输出，Fd表示解码器的输出特征，n表示编码器每一层的输出，Fe表示编码器的输出特征，w代表对m和n进行交叉连接后的特征图，O代表最后该模块的输出，concat表示按通道拼接操作，D表示膨胀卷积操作，1、2、5、7表示膨胀因子。

全文数据：

权利要求：

百度查询： 临沂大学 基于Transformer与CNN的视盘和视杯分割方法