买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东师范大学

摘要：本发明属于医学图像处理领域，提供了一种基于多特征融合和弱监督定位的胃肠化生图像分类系统，通过将RGB图像转换为HSV图像和局部二值模式图像来提取特征并基于多头自注意力机制和通道注意力机制设计了一种多特征融合模块，实现了GIM图像中颜色和纹理信息的有效利用，提高了模型的分类性能。同时，通过弱监督定位技术定位GIM图像中的病变区域，利用预训练网络的预测置信度对病变激活图进行加权，减轻了不准确的病变激活图带来的影响；RGB图像与加权后的病变激活图融合后再进行特征提取，解决了传统模型无法在只有图像级标注的情况下关注病变区域的问题，进一步提升了胃肠化生严重程度分级准确率。

主权项：1.基于多特征融合和弱监督定位的胃肠化生图像分类系统，其特征在于，包括：图像预处理模块，被配置为获取原始胃肠内窥镜图像并进行预处理，得到胃肠内窥镜图像；病变激活图生成模块，被配置为将胃肠内窥镜图像的RGB图像转换为HSV图像和LBP图像，将RGB图像输入到预训练分类网络中，再次转换为HSV图像和LBP图像，分别进行特征提取后再融合得到融合特征，根据融合特征进行分类得到预测分类结果；根据预训练分类网络中RGB图像提取的特征图和预测分类结果生成RGB图像的病变激活图；所述根据预训练分类网络中RGB图像提取的特征图和预测分类结果生成RGB图像的病变激活图，具体为：计算预测结果关于预训练网络最后一个卷积层输出的梯度，根据梯度以及预测结果确定激活加权权重，所述计算预测结果关于预训练网络最后一个卷积层输出的梯度，根据梯度以及预测结果确定激活加权权重，具体为： ； ；其中，为目标类别，也就是病变等级，是预测的类别分数；表示特征图第个通道，表示求偏导数，和均为最后一个卷积层输出特征图上的元素位置，表示最后一个卷积层输出特征图位置的通道特征图，表示最后一个卷积层输出特征图位置的通道特征图，是额外权重，是激活加权权重；将激活加权权重与最后一个卷积层输出的通道特征图相乘，得到融合后的特征图；对融合后的特征图进行ReLU操作，得到初始病变激活图；初始病变激活图经过上采样恢复到RGB图像的大小，得到病变激活图；自适应加权模块，被配置为根据预训练分类网络的预测分类概率对病变激活图进行自适应加权，将加权后的病变激活图与对应的RGB图像进行逐像素融合，得到加权融合图像，所述根据预训练分类网络的预测分类概率对病变激活图进行自适应加权，将加权后的病变激活图与对应的RGB图像进行逐像素融合，得到加权融合图像，具体为：将预训练分类网络的预测分类概率归一化到[0,1]；对于预训练分类网络预测为0级的病变激活图，病变激活图的每个元素与1减去预测分类概率的结果相乘，对于预训练分类网络预测为1级和2级的病变激活图，病变激活图的每个元素与对应的预测概率相乘，完成病变激活图的加权；具体公式为： ；其中，P[c]表示类别c的归一化概率，c=0,1,2；*表示LAM中的每一个值与概率相乘，表示加权后的病变激活图，LAM表示病变激活图；将加权后的病变激活图与胃肠内窥镜图像的RGB图像逐元素相乘，得到加权融合图像；加权特征提取模块，被配置为通过残差网络提取HSV图像和LBP图像的底层细节特征，通过残差网络提取加权融合图像的高层语义特征；其中，通过ResNet50网络中的底层特征提取层提取HSV图像和LBP图像的低层细节特征，通过ResNet50网络中的全部特征提取层提取融合加权病变激活图的RGB图像的高层语义特征；图像分类模块，被配置为利用多头自注意力机制和通道注意力机制对提取到的HSV图像底层细节特征、LBP图像底层细节特征和加权融合图像的高层语义特征进行加权融合，得到最终的融合图像，并利用最终的融合图像完成胃肠化生图像分类；所述利用多头自注意力机制和通道注意力机制对提取到的HSV图像底层细节特征、LBP图像底层细节特征和加权融合图像的高层语义特征进行加权融合，具体为：利用多头自注意力机制分别对提取到的HSV图像底层细节特征和LBP图像底层细节特征进行加权求和，得到多头自注意力机制的输出；多头自注意力机制的输出与加权融合图像的高层语义特征均经过全局平均池化操作并在通道维度进行拼接，拼接后的特征经过通道注意力机制进行通道加权，得到最终的融合特征。

全文数据：

权利要求：

百度查询： 山东师范大学 基于多特征融合和弱监督定位的胃肠化生图像分类系统