申请/专利权人：武汉理工大学

申请日：2021-09-22

公开（公告）日：2024-06-25

公开（公告）号：CN113889228B

主分类号：G16H30/20

分类号：G16H30/20;G06F16/53;G06N3/0464;G06N3/048;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2022.01.21#实质审查的生效;2022.01.04#公开

摘要：本发明涉及一种基于混合注意的语义增强哈希医学图像检索方法。首先将数据集划分为训练集和测试检索集，从训练集中随机选择图像组成医学三元组，然后构建整体网络模型，将医学三元组样本作为网络模型的输入，最后训练整体网络模型，并使用训练好的网络得到检索结果。本发明利用通道注意模块和空间注意模块构成混合注意机制，能高效提取感兴趣区域ROI信息；利用类别级语义信息来约束哈希码的学习过程，有助于区分不同类别的相似哈希码；当深度嵌入映射至离散哈希码时，利用量化损失项减少深度嵌入和哈希码之间的量化误差，能够进一步提升医学图像检索的精度。

主权项：1.一种基于混合注意的语义增强哈希医学图像检索方法，其特征在于，包括如下步骤：步骤1，将数据集划分为训练集和测试检索集；步骤2，随机选择图像组成医学三元组；步骤3，构建整体网络模型，将医学三元组样本作为网络模型的输入；对于每一个三元组，三张医学图像同时输入权重共享的孪生神经网络，该孪生神经网络由卷积块、密集块、卷积块和一个用于哈希码输出的全连接层组成；在卷积块和密集块之间加上一个通道注意模块，密集块和卷积块之间加上一个空间注意模块，构成混合注意机制；一张医学图像首先通过第一个卷积块得到特征图X∈RC×H×W，其中H和W分别表示特征图的高和宽，C表示通道的数量；接着通过通道注意模块，利用平均池化和最大池化操作压缩输入的特征图，通道注意模块内包括两个连续卷积层，第一个1×1卷积用于将池化操作后的特征投影到参数较少的隐藏层，并利用ReLU函数作为激活函数，第二个1×1卷积旨在恢复通道数，并利用sigmoid函数作为激活函数；然后将平均池化向量和最大池化向量逐元素相加，利用sigmoid函数进行加权操作，最后乘以特征图X；为了充分利用特征图并加强特征图的传递，将特征图输入到由四个密集层组成的密集块中，每个密集层的输出将传递到每个后续层，以实现创建从早期层到后期层的短路径；将最后一个密集层提取到的特征图输入空间注意模块，空间注意模块是通道注意模块的补充，它重点关注样本信息量最大的部分；最后深度嵌入被映射到哈希码生成层；步骤4，训练整体网络模型；基于混合注意力机制和孪生神经网络，通过优化整体损失函数来训练模型，整体损失函数包括哈希三元组、语义增强项和量化项；哈希三元组项Ltri表示为： 式中，m为训练集中图像的个数，||·||2表示二范式向量，用来测量距离；和表示尚未离散化的k位深度嵌入；δ表示边缘阈值；语义增强项Lse表示为： 式中，m为训练集中图像的个数，表示交叉熵损失函数，和表示尚未离散化的k位深度嵌入，和分别表示锚点图像Qi、正例图像Pi、负例图像Ni的标签信息；量化项Lqu表示为： 式中，m为训练集中图像的个数，||·||2表示二范式向量，用来测量距离；和表示尚未离散化的k位深度嵌入，和分别表示锚点图像Qi、正例图像Pi、负例图像Ni的k位哈希码；考虑上述三个部分，总体损失函数Ltotal表示为：Ltotal＝Ltri+α×Lse+β×Lqu8式中，α和β表示控制损失项权重的超参数；步骤5，使用训练好的网络得到检索结果。

全文数据：

权利要求：

百度查询： 武汉理工大学 基于混合注意的语义增强哈希医学图像检索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD