买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学

摘要：本发明提出了一种混合模型网络的多模态影像分类方法、装置和计算机可读存储介质。通过对来自于多个不同模态的医学影像进行特征级融合，将特征视作节点构建特征图，通过多级粗化模块完成特征选择，并利用混合模型网络对图结构进行自适应学习，寻找特征间的潜在联系，从而得到更可靠、更准确的病灶类别属性信息的方法。利用BraTS2017数据集进行验证，与传统的特征级融合方法相比，基于混合模型网络的多模态影像分类方法具有更好的结果。

主权项：1.一种基于混合模型网络的多模态影像分类方法，将所有模态所提特征进行特征图的构建，借助Graclus算法进行粗糙化，最后基于混合模型网络完成预测分类，具体步骤包括：一数据预处理：对每个分类对象进行标签的标记；二特征提取：首先对图像数据进行感兴趣区域提取，然后以感兴趣区域为掩膜，对各模态影像进行特征提取，分别得到纹理特征、强度直方图特征和形状特征，并对其进行特征归一化处理；三构建特征图：将上述单样本所提的每个特征看作为离散节点，并以节点间的欧氏距离为基础，利用K最近邻算法构建初始的特征图结构G0＝V0,E0，其中V0为特征图的节点集合，而E0为特征图中所有边的集合；四特征图粗糙化：将上述所构建的特征图作为输入，基于Graclus多尺度聚类算法进行多级粗糙化，首先将划分目标设置为归一化切割，即节点的初始权重被设置为节点的度数；然后对特征图中所有节点进行随机访问，若访问的节点x未被标记，且其邻域中所有节点均已标记，则对节点x进行标记，并继续访问下一个节点；若该节点邻域中有尚未被标记的节点，则寻找邻域中未标记顶点y，使得下式最大化： 其中ex,y是指节点间的边权重，而wx和wy分别指节点x和y的自身权重，找到最大化的节点y之后，将匹配的两个节点合并为一个新的节点，新节点的权重为原始节点权重之和，当所有节点遍历完成后，特征图的规模可缩小近一倍，即完成了一级粗糙化过程；五边权重更新：利用基于混合模型网络的图卷积核，对已粗糙化的特征图进行节点的边权重更新，首先将节点x放入极坐标中进行表示，并通过其邻域中的节点x′创建一个d维向量的伪坐标ux,x′，以确定节点x与其邻居x′之间的相对位置：ux＝ρx,x′,θx,x′其中在极坐标中，ρ表示极径，θ表示极角，将上述节点间的相对位置关系映射到节点之间的相对权重，并通过一组具有可学习参数的高斯核函数w1u,…,wJu不断进行图结构上的卷积操作，并自适应学习权重，最终完成节点的边权重更新，该高斯核函数的表示如下所示： 其中和μj分别表示可学习的d×d和d×1协方差矩阵和高斯核的均值向量，J表示卷积操作时空间卷积核的维数，exp代表e为底的指数函数；六全连接网络：将边权重更新后的特征图借助全局最大池化展成一维向量，并利用全连接网络将其映射到样本标记空间，完成分类的显式表达。

全文数据：

权利要求：

百度查询： 山东大学 基于混合模型网络的多模态影像分类方法