买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安徽大学

摘要：本发明的一种无造影剂心肌梗死图像分割方法、设备及介质，包括收集钆造影剂增强前后的心肌梗死核磁共振图像对数据集，并进行数据处理；然后利用时空双流网络分别提取输入图像序列中的时间特征和空间特征，并将提取的特征分别传递给主编码器；其次，使用主编码器将时间特征和空间特征进行有效融合，完成对输入图像序列的特征提取，实现精准的心脏时空表征捕获；最后结合监督训练和鉴别器对抗训练共同训练模型，输出每个输入图像序列的心肌梗死预测分割图。本发明不仅解决了深度学习模型在心肌梗死分割应用中面临的没有充分分析心脏的时空运动问题，还实现了精确的心肌梗死区域分割，为心肌梗死的诊断和治疗提供了有力的技术支持。

主权项：1.一种无造影剂心肌梗死图像分割方法，其特征在于，包括以下步骤，S1、收集钆造影剂增强前后的心肌梗死核磁共振图像对数据集，包括图像和分割标签，将数据集划分为训练集和测试集，并对训练数据进行数据处理；S2、构建时空双流网络分别提取输入图像即钆造影剂增强前的图像序列的时间特征信息和空间特征信息，并将这些信息传递给主解码器；S3、构建主解码器模块，主解码器模块融合时空双流网络传递的时间特征信息和空间特征信息进行训练；S4、加入鉴别器模块评估数据的分割质量，并将其反馈给编码器和主解码器模块，从而促使产生越来越精确的分割；S5、利用收集到的训练样本对包含时空双流网络、解码器模块和鉴别器模块的分割模型进行训练，并用测试样本进行测试选取最优的网络参数，形成最终的心肌梗死分割模型；S6、应用时，将没有钆造影剂增强的心肌梗死核磁共振图像序列输至上述最终的心肌梗死分割模型中，经计算输出心肌梗死分割图像；所述步骤S2包括：S21、构建时间编码器和空间编码器模块：时间编码器和空间编码器分别由不同的网络结构组成，输入相同的钆造影剂增强前的心肌梗死核磁共振图像序列；S22、时间编码器由一个VSS网络编码器、光流估计器FlowNet2.0和时间感知块组成；S23、VSS网络编码器接受一个图片序列，其中每张图片都被用来提取特征表示；VSS网络编码器包括两个卷积层，每个卷积层后跟一个批正则化层、一个ReLU激活函数层和一个池化层；这些层按顺序排列以构成特征提取和转换的流程；每张原始图片的尺寸为256×256；在编码器中，图片首先经过一系列的卷积和池化操作，被转换为256通道，大小为64×64的特征编码；这一过程包括：第一卷积层：使用具有128个卷积核，3×3核大小，步长为1，和“same”填充方式的卷积操作，这样能保持输出特征图的空间尺寸不变；操作后的特征表示为： ；第二卷积层：使用具有256个卷积核，3×3核大小，步长为1，和“same”填充方式的卷积操作；进一步细化了由第一层传来的特征图： ；在每个卷积层之后，这些特征图通过批正则化层进行正则化，以稳定训练过程并提高泛化能力；接着，函数被用于引入非线性，有助于增加模型的表达能力；最后，采用2×2的最大池化操作，步长为2，无填充，使得特征图大小缩小到原来的一半；S24、光流估计器FlowNet2.0接收连续的图像帧作为输入，并输出一个光流图，即对于每一帧图像，计算出每一个像素点从当前帧到下一帧的运动向量；光流估计器FlowNet2.0通过组合多个网络来提高光流估计的准确性和细致度；首先，光流估计器FlowNet2.0使用相关流网FlowNetC和简单流网FlowNetS两种网络的级联形式来进行初步的光流估计；其中，相关流网FlowNetC负责捕获帧间的粗略运动信息，而简单流网FlowNetS则直接从成对的帧中学习光流模式；接下来，为了更精确地捕获不同尺度上的运动信息，光流估计器FlowNet2.0通过不同的网络路径处理不同分辨率的图像输入，允许系统在多个层面上进行运动信息的分析；最后，为了进一步提高光流估计的精度，光流估计器FlowNet2.0在其架构中加入了一个额外的细化网络，称为流网2.0-堆叠密集型FlowNet2.0-SD；这个网络专注于细化和优化最初的光流估计结果；在这个框架中，假设表示估计的光流函数，和分别表示连续的两帧图像，则光流估计的过程表示为： ；S25、时间感知块T，结合估计的光流信息，将前一帧的特征变形为传播特征；变形操作通过双线性插值实现；给定光流向量场中的一个光流向量，计算出对应像素在原始特征图中的新位置，并使用双线性插值从周围四个像素的值中计算出变形后像素的值；具体地，对于每个像素位置，其在变形后特征图中的新值由其在原始特征图中的相应位置及其邻域的值决定，计算公式如下： ， 其中，是双线性插值函数，是在位置的光流向量，指示该像素点从时间到的运动；接着，将传播的先前特征和当前特征拼接成；最后，通过一个时间注意力模块融合拼接特征；融合过程写成： ，其中是时间注意力，表示逐元素相乘，表示逐元素相加；时间注意力机制学习在时空空间中每个像素的时间维度上选择信息丰富的时间元素；时间注意力的执行过程为： ，其中是函数，表示全连接层,而和分别是2×2的平均池化和最大池化操作，用于提取特征图中的全局信息，进而输入到全连接层中；S26、空间编码器由一个VSS网络编码器和空间融合块组成；S27、VSS网络编码器接受一个图片序列，其中每张图片都被用来提取特征表示；VSS网络编码器包括两个卷积层，每个卷积层后跟一个批正则化层、一个ReLU激活函数层和一个池化层；这些层按顺序排列以构成特征提取和转换的流程；每张原始图片的尺寸为256×256；在编码器中，图片首先经过一系列的卷积和池化操作，被转换为256通道，大小为64×64的特征编码；这一过程包括：第一卷积层：使用具有128个卷积核，3×3核大小，步长为1，和“same”填充方式的卷积操作，这样能保持输出特征图的空间尺寸不变；操作后的特征表示为： ；第二卷积层：使用具有256个卷积核，3×3核大小，步长为1，和“same”填充方式的卷积操作；该层进一步细化了由第一层传来的特征图： ；在每个卷积层之后，这些特征图通过批正则化层进行正则化，以稳定训练过程并提高泛化能力；接着，函数被用于引入非线性，有助于增加模型的表达能力；最后，采用2×2的最大池化操作，步长为2，无填充，使得特征图大小缩小到原来的一半；S28、空间感知块S，其核心是一个空间注意力机制，旨在增强模型对时空数据中在空间维度上具有丰富信息的像素的关注；空间注意力机制选择在时空空间中沿空间维度上具有信息量的像素；首先，对输入的特征进行2×2的全局平均池化和2×2的全局最大池化操作；这两种池化操作分别捕获特征图的全局背景信息和最显著的特征响应，有助于模型理解特征图在空间维度上的整体布局和关键区域；接着，将全局平均池化和全局最大池化的结果沿着通道维度进行连接；通过一个具有1个卷积核，3×3核大小，步长为1，和“same”填充方式的卷积层对上一步骤得到的连接特征图进行处理，生成空间注意力图；最后，通过一个激活函数处理卷积层的输出，生成空间注意力权重；这一步将注意力权重映射到的范围内，其中接近1的权重表示对应位置的像素在空间上更为重要；因此，空间注意力的执行过程为： ，其中表示连接操作，表示卷积层，和分别是2×2的平均池化和最大池化操作；得到空间注意力图后，将其应用于原始特征图上，以增强或抑制相应空间位置的特征；特征处理过程写成： ，其中是空间注意力，表示逐元素相乘；空间注意力机制学习在时空空间中每个像素的空间维度上选择信息丰富的空间元素。

全文数据：

权利要求：

百度查询： 安徽大学 无造影剂心肌梗死图像分割方法、设备及介质