买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南农业大学

摘要：本发明公开了一种基于多尺度结构学习的深度医学图像聚类方法，通过将图像数据自身的表征学习和图像之间的全局多尺度结构学习结合起来，以卷积神经网络、自编码器、图卷积网络共同构建可进行多尺度结构学习的深度医学图像聚类方法，从而提升深度图像聚类的性能。本发明首次将实例级对比学习、全局聚类结构学习、多尺度邻域结构学习构建成一个统一的深度图像聚类框架，将不同尺度下的图像间邻域结构信息和图像数据自身的表征信息进行协同的学习与更新，有效提高了特征信息的鲁棒性和置信度，弥补了现有技术当中仅使用单尺度邻域结构信息的不足。

主权项：1.一种基于多尺度结构学习的深度医学图像聚类方法，其特征在于，包括以下步骤：收集待进行聚类的N张医学图像，并构建医学图像数据集S，对医学图像数据集中的每张医学图像Y随机采用两种不同的数据增强方式，得到增强后的医学图像Ya和Yb；将所述医学图像Ya和Yb分别通过主干网络后在实例相似度模块联合簇结构和实例重构模块对Ya和Yb进行训练；其中，在所述实例相似度模块中，特征信息矩阵Za和Zb在通过两层全连接多层感知机后完成了余弦相似度计算，实例对比损失的计算以及实例相似度对比损失的优化，从而对特征信息矩阵Za和Zb进行反复迭代更新；通过训练反复迭代优化后提取Ya和Yb特征信息矩阵Za和Zb；依据特征信息矩阵Zb构建多尺度邻域结构信息，在特征信息矩阵Zb上构建M路K近邻图；将得到的多尺度邻域结构信息放入到M路图卷积网络当中，与训练好的实例重构模块的自编码器部分结合起来联合训练，同时学习图像样本自身信息与图像样本之间的多尺度邻域结构信息；在训练完成后，对网络学到的特征结果进行聚类以获得医学图像的类别预测结果；医学图像Ya和Yb通过主干网络处理后得到的特征矩阵被映射到了一个低维的子空间当中，在这个低维子空间当中对其进行实例相似度结构学习；将医学图像Y分别经过不同数据增强所得到的医学图像Ya和Yb视为一个正样本对，Ya与剩下的2*N-1个样本组成2*N-1个负样本对；通过对比损失使得正样本对之间的距离缩小，同时拉远负样本对之间的距离；正负样本对之间的相似度度量方式采用了余弦相似度；医学图像Ya的实例对比损失如下： 上述公式中，表示医学图像Ya和Yb之间的余弦相似度，e为自然对数底数，τI是用于连续图像数据的对比温度参数表示，N表示医学图像数据集S中医学图像的数量；对于分别经过不同数据增强的样本均进行对比损失的计算： 其中表示医学图像Yb的实例对比损失；使用随机梯度下降算法最小化实例相似度对比损失实例重构模块使用四层自编码器网络结构，联合簇结构和实例重构模块的两个损失：对比簇结构损失和实例重构损失分别是： 其中，特征信息矩阵Zb的第i行为表示第i个样本的特征信息；表示经过自编码器重构得到的第i个样本的特征信息，表示经过自编码器重构得到的特征信息矩阵，NOC表示图像数据集的类别数；HWa和HWb为两个正则化项，其中： 更具体来说：其中Wa和Wb是特征信息矩阵Za和Zb经过自编码器降维之后得到的低维特征矩阵，表示矩阵Wa的第i列；表示在矩阵Wk中第u个样本的第i列；联合簇结构和实例重构模块的损失最后的形式为： 依据特征信息矩阵Zb构建多尺度邻域结构信息，在特征信息矩阵Zb上构建M路K近邻图，包括：构建相似性矩阵；针对图像数据集，利用高斯核的方式来度量样本与样本之间的相似性： zi和zj表示特征信息矩阵Zb中的第i行和第j行，也就是第i个样本和第j个样本的特征信息，T为热传导方程中的时间参数；构建相似性矩阵之后，在相似性矩阵上构建不同的K近邻图，一共构建M个K近邻图，M≥2；使用联合簇结构和实例重构模块中的自编码器和图卷积模块进行联合训练，自编码器层数设为l层，每一层通过如下公式从特征信息矩阵Zb中学习样本的自身信息： 其中Φ·是自编码器每一层的激活函数，和分别表示自编码器每一层的权重矩阵和偏置值，表示自编码器第l层学习到的样本的特征信息矩阵；自编码器通过如下公式来使得特征信息矩阵Zb在降维之后仍可得到具有丰富语义的特征信息： 其中是解码器第l层恢复得到的特征信息矩阵，也就是图卷积网络通过如下的方式对单个样本进行邻域信息的聚合： 其中，V表示图中所有节点，I是单位矩阵，A是邻接矩阵，表示聚合第i个节点的邻域信息；Vj表示第j个节点；表示第i个节点的度，表示第j个节点的度，表示第i个节点和第j个节点之间是否有边相连，如果有则为1，若无边相连，则为0；每一层图卷积网络通过如下方式聚合邻域信息： 其中表示第L层图卷积网络学到的信息；表示第L-1层的权值矩阵；表示对应的度矩阵，Φ·表示激活函数；然后通过线性组合的方式使得每一层图卷积网络学到的邻域结构信息同自编码器部分学得的样本的自身信息相结合，得到通过包含有两种信息的特征信息矩阵并以此传递到下一层图卷积网络开始新一轮的特征矩阵的更新： 其中σ和γ是超参数，表示第一路图卷积网络聚合的邻域信息，表示第二路图卷积网络聚合的邻域信息，此处第一路和第二路是在M＝2的情况下的两路图卷积网络，Hl-1表示从自编码器当中学习到的样本自身的信息；通过σ和γ两个超参数的连接，将多尺度邻域结构信息同数据自身信息结合起来，并以此为基础更新主干网络和联合簇结构和实例重构学习模块的自编码器部分；利用学生t分布，来将自编码器得到的结果转化为一个概率分布： 其中，hi是数据集S中第i个图像样本的数据表示，μj、μj′表示不同的聚类中心向量，t是学生t分布的自由度，qij表示的是数据集S第i个图像样本属于第j个簇的概率，也就是说第i个样本被打上第j个标签的概率；将所有样本的这些分配概率结合在一起就得到一个概率分布Q,qij∈Q；利用概率分布qij来计算概率分布pij: 其中fj＝∑iqij，fj是软簇分配频率；利用目标分布P＝[pij]来监督Q分布分的更新，使用了KL散度： 同样，利用目标分布P来监督图卷积网络的更新： 其中G1＝[g1-ij]和G2＝[g2-ij]分别表示一路图卷积网络学习到的概率分布和二路图卷积网络学习到的概率分布；最后自编码器部分和多尺度图卷积网络模块的损失函数如下：

全文数据：

权利要求：

百度查询： 华南农业大学 一种基于多尺度结构学习的深度医学图像聚类方法