买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明属于医学图像处理和计算机视觉领域，具体涉及到肺部CT图像弱监督多实例学习的生物标志物的识别方法。本发明基于深度神经网络，将多实例学习框架应用于CT图像上的生物标志物识别工作，通过利用门控注意力机制将2D图像特征聚合为2.5D实例特征，在不引入过多额外参数的情况下，提升了网络对于3D图像的泛化能力。同时，设计了一个基于2.5D实例排序的多实例学习方法，使网络更加聚焦于训练图像中的关键实例，而非图像整体信息。解决了生物标志物识别困难、MIL方法在CT图像上泛化性能低等关键问题。

主权项：1.肺部CT图像弱监督多实例学习的生物标志物的识别方法，其特征在于，包括如下步骤：1收集初始数据：对于生物标志物的识别任务，收集的初始数据包括：所要识别的肺部CT图像以及每一例图像的对应生物标志物表达水平标注；2数据预处理：将步骤1中的CT图像数据使用自动化的肺部分割方式对肺部组织进行分割，排除肺外组织的干扰，以便后续网络的训练和测试；3多实例学习获得实例特征：3-1多实例学习：一个图像被视为包含多个实例的包；其中包级别的标签是由实例级别的标签所决定的：若一个包中包含至少一个特殊实例，则该包被标注为特殊包，反之，若一个包中没有特殊实例，则该包为普通包；而在训练过程中，模型仅能获取包标注，而实例级别标注未知；在本方法中，将包含多张切片的CT图像视作一个包，每个包中包含多个2.5D实例，判别生物标志物的信息特征存在于包中的某个实例之中，并利用多实例学习的方式学习潜在的映射关系；3-2对单个2.5D实例进行定义：将单个实例设定为多个切片之间的组合，即：一个实例是一个包含多张CT切片的微小CT图像；选取每个实例的中心切片，并以该切片为中心，向外扩张数个CT切片，将这些切片视为一组，作为单个2.5D实例；3-3使用一个预训练过的特征提取网络Resnet对步骤3-2中定义的2.5D实例中的单层CT图像进行特征提取，得到每一个CT切片的图像特征；在特征提取网络之后，引入一个残差模块，对特征提取网络输出的特征进行微调，以弥补不同模态图像之间的域差异；3-4在得到CT切片的图像特征之后，通过一个门控注意力模块，对单个2.5D实例中不同切片特征的注意力加权聚合，为每个2.5D实例生成实例特征；门控注意力的聚合方式具体实现如下公式所示： 式中，i代表每个CT图像中的2.5D实例，j代表每个实例中的切片数，aj代表单个实例中不同切片对该2.5D实例特征的贡献程度，其值的计算由门控注意力机制生成；式中w、U和V均为可训练的网络参数，sigmoid函数为门控函数，控制每个切片的特征eij是否能够对实例特征产生贡献；此外，考虑到在每个切片的特征层面上也可能不同的判别特征，因此使用tanh作为激活函数，负责计算每个切片特征eij对实例特征贡献的正负以及大小；而eij代表通过特征微调提取的单个切片特征；通过该式获得聚合了多个切片特征的2.5D实例特征fi；4基于实例排序挑选的多实例学习：4-1构建基于top-k排序的多实例学习网络：为了捕获CT图像的整体信息，先使用一个Transformer模型来对2.5D实例信息进行丰富，具体来说，在步骤3-2对2.5DCT图像定义的过程中，单个2.5DCT图像只整合了前后数个切片的切片信息；为了建模CT图像的三维信息，使用一个Transformer模块来对单个CT图像中的不同实例之间的互信息进行建模，该模块通过自注意力的方式对全局信息进行建模，而非局限于局部信息，以充分发掘CT图像的整体信息；然后选用一个分类网络对每个CT图像中多个实例进行回归分类，区分每个实例是否包含高生物标志物表达的信息；接下来，将生物标志物表达水平不同的CT图像中的2.5D实例，根据模型的预测概率进行top-k排序，选择出每个包中生物标志物表达水平最高的实例作为关键实例；然后通过交叉熵损失以及基于排序的多实例损失来训练网络，网络优化方法为指数平均梯度下降，网络学习到不同实例的分布，得到训练好的实例级别的多实例学习网络；4-2将步骤3中得到的2.5D实例特征，根据其所属CT图像生物标志物表达水平的不同，以两两一组送入步骤4-1的基于top-k排序的多实例学习网络中，训练网络模型；4-3通过多个损失来监督网络的学习过程：基于排序的多实例损失函数如下：将两张输入的CT图像，根据其标签的不同，分别表示为VP和Vn，分别代表不同标签的CT图像，对于正样本CT图像中，正例包的选定的前K个实例表示为Ωp，取预测为正例概率最高的前K个实例构建集合对于负样本CT图像中，定义负例包的选定的前K个实例表示为Ωn，取预测为正例概率最高的前K个实例构建集合设计一个基于排序的多实例学习损失公式如下： 式中，引入了一个归一化损失来防止模型对高生物标志物表达图像中实例过拟合，α是一个超参数，用于控制稀疏约束项的权重；归一化损失的具体公式为： 网络训练的总损失是由排序损失和交叉熵损失加权得到，总损失函数如下： 式中，β是一个用于调整损失权重的超参数，为标准交叉熵损失；5推理过程：经过步骤4的训练过程后，将网络的参数进行冻结，利用基于top-k排序的多实例学习网络来对单张CT图像进行肺部生物标志物的识别，具体的识别推理过程如下：5-1将待检测的CT图像按照步骤3-2划分成不同的2.5D实例后，送入步骤3-3中的特征提取网络提取CT切片特征；在得到CT图像的切片特征后，将切片特征送入步骤3-4的门控注意力模块中，得到2.5DCT图像块实例特征；5-2将实例特征送入训练后的基于top-k排序的多实例学习网络中，检测每个实例包含高生物标志物表达区域的概率；5-3根据图像中每个实例的预测概率进行排序，选择概率最大的K个实例，并将其预测结果进行平均化处理，作为最终的CT图像识别结果。

全文数据：

权利要求：

百度查询： 大连理工大学 肺部CT图像弱监督多实例学习的生物标志物的识别方法