买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明提供了一种基于一对一目标查询Transformer的多模态医学图像多器官定位方法，属于医学图像处理技术领域。本发明利用条件高斯模型和Transformer的自注意力机制来模拟器官间位置和大小的相关性。一对一目标查询架构对每个目标器官强制执行一个唯一的目标查询，查询的顺序即为预测的类别，因此不需要进行分类，简化了网络结构，减少冗余计算，且具有更快的学习收敛速度。执行器官检测之前将3D的多模态图像投影到两个正交的2D平面上，再通过多模态融合方法结合来自多模态图像的互补信息，最后将得到的2D边界框反投影得到3D边界框，减少计算负担，获得更稳健的器官定位结果。

主权项：1.一种基于一对一目标查询Transformer的多模态医学图像多器官定位方法，其特征在于，该方法包括以下步骤：S1、三维多模态图像的二维投影与图像融合S11、数据预处理对数据集进行空间分辨率和图像尺寸的归一化预处理；S12、多模态图像的二维投影及灰度归一化S121、将每个模态图像采用保持图像特点的投影方式进行投影，得到二维冠状投影和矢状投影；S122、每个模态的投影图片都选择适当的阈值范围将图像的灰度归一化到[0,255]的灰度范围；S13、多模态投影的图像融合将每个投影视图融合在一起，分别生成冠状和矢状视图的两个融合图像；融合图像计算公式为： 其中，αu表示权重因子，且Iu表示第u种模态图像的投影视图；S2、通过CGM构建器官之间位置相关性的粗预测模型S21、构建器官的形状向量器官三维边界框的中心点坐标和长宽高组成训练集；训练集中的每个训练样本构建形状向量，设si为训练样本i的形状向量，即si＝x，y，z，lx，ly，lz；S22、广义普氏变换图像空间中的每个训练样本的形状向量通过广义普氏变换，将其归一化到模型空间，进而在模型空间中进行后续操作；S23、主成分分析以所有经过广义普氏变换的si为训练集，用统计形状模型方法对器官位置和大小变化进行建模，得到形状模型表示如下： 其中，为训练集的平均形状，是选取的训练集的特征的平均值；Φs为对训练集做主成分分析得到的特征向量矩阵，下标s表示形状，其中的k个特征向量代表从训练集中学习到的k种器官位置和大小变化模式；bs为形状参数，bs中的k个元素分别表示Φs中的k个变形模式与训练集的平均形状叠加的权重；s表示最终得到的形状模型，bs影响s，通过调整bs的值可以控制模型变形；根据公式2反求出每个训练样本的形状参数，公式如下： 其中，为对训练集做主成分分析后得到的特征向量矩阵的转置；S24、构建条件高斯模型设和分别代表两个相邻器官A和B的形状参数，当已知时，的条件高斯模型CGM描述如公式4-6所示： 其中，是条件高斯模型得到的待预测器官的形状参数的均值，维度为k×1；是条件高斯模型得到的待预测器官的形状参数的协方差矩阵，维度为k×k；和是每个训练样本的形状参数，维度为k×1；和是和之间的互协方差矩阵，维度为k×k；和分别是和在训练集中的协方差矩阵，维度为k×k；是已知时，的条件高斯模型，N是指高斯分布；将CGM得到的待预测器官的形状参数先代入形状模型中，得到模型空间的数据集；然后反归一化到图像的真实物理空间，得到最终预测的结果；S3、基于一对一目标查询的Transformer网络的器官定位方法S31、2D融合的投影图像的特征提取将冠状和矢状方向的每一个融合图像都发送到CNN网络中进行图像特征提取，降维映射为序列后加上CGM的预测结果共同输入Transformer；S32、构建一对一目标查询的Transformer模型将CNN提取的特征序列及其对应的空间位置编码发送到Transformer中的编码器模块，进行全局相关计算；对于解码器模块，N个目标查询分别用于N个待检测的器官；N个目标查询和编码器输出都用作解码器的输入，在编码器和CGM预测的综合作用下，每个投影图像获得N组2D边界框；S4、二维投影图像检测结果的三维反投影分别对冠状和矢状投影融合图像都进行S2和S3的步骤，Transformer模型的输出即为各自投影视图中所有目标器官的2D边界框，具体表示如下：设x、y和z为三个空间维度的像素坐标，冠状投影的边界框表示为矢状投影的边界框表示为最后，对冠状和矢状边界框进行反投影，获得器官三维边界框

全文数据：

权利要求：

百度查询： 大连理工大学 基于一对一目标查询Transformer的多模态医学图像多器官定位方法