买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明涉及一种共享骨骼信息跨模态融合的个体身份识别方法，属于医学图像检索技术领域，首先利用跨域双向图像转换网络将原始数据中的VRT图像转换成CXR图像，实现模态补全，再利用CXR‑VRT数据对进行共享骨骼信息跨模态融合模型的训练，训练完成后，根据胸片身份检索库构建神经骨纹检索库；首先将待检索的VRT图像经过跨域双向图像转换网络得到CXR‑VRT图像对，再通过共享骨骼信息跨模态融合模型得到对应的神经骨纹，最后利用最近邻搜索方法，在神经骨纹检索库中进行检索，确定对应的个体身份。实现直接根据骨骼成像数据进行自动的个体信息识别。不仅为法医学等领域的实际应用提供了有力的支持，也推动了跨模态检索等相关研究领域的发展。

主权项：1.一种共享骨骼信息跨模态融合的个体身份识别方法，其特征在于，包括以下步骤：S1：原生数据集构建：收集来自同一个体的CXR-VRT图像对作为样本；S2：胸片身份检索库构建：收集大量与S1中原生数据集身份来源不同的单张胸片作为干扰项，与S1中原生数据集测试集部分的胸片数据共同构成胸片身份检索库；S3：模态补全：利用跨域双向图像转换网络，将来自原生数据集的真实胸片图像转换为生成的VRT图像，来自原生数据集的VRT图像转换为生成的胸片图像，进而使用来自每个个体的真实图像对和生成图像对补全数据集；S4：数据增广：对所有训练样本依次采用如下的增广方式进行预处理：尺寸调整、直方图均衡化、对比度调整、概率色彩抖动、概率水平翻转、概率随机旋转、归一化；S5：构建CXR-VRT共享骨骼信息跨模态融合模型：针对胸片图像和VRT图像，分别使用两个编码器-解码器模块进行图像细粒度特征的提取；对于提取的对应的胸片图像和VRT图像的特征，使用一个特征融合模块进行特征的融合；S6：训练CXR-VRT共享骨骼信息跨模态融合模型：使用构建的数据集中的图像对作为输入，对于解码器输出的重建图像，使用与原始图像的重建损失以学习到图像中更细粒度的特征，对于编码器输出的图像特征，每对特征经过特征融合模块后使用对比学习以最小化类内距离、最大化类间距离，整体训练目标为胸片图像和VRT图像的重建损失与融合特征间的对比损失之和；S7：根据胸片身份检索库构建神经骨纹检索库：首先将胸片数据利用跨域双向图像转换网络转换成VRT图像，然后利用CXR-VRT共享骨骼信息跨模态融合模型得到对应的融合特征；最后以融合特征，即神经骨纹作为键，对应个体身份信息作为值，构建一张搜索表作为神经骨纹检索库；S8：使用VRT图像识别个体身份：将待检索的VRT图像利用跨域双向图像转换网络转换成CXR图像，得到CXR-VRT图像对后利用CXR-VRT共享骨骼信息跨模态融合模型得到神经骨纹作为检索项，然后利用最近邻搜索方法在神经骨纹检索库中检索个体身份。

全文数据：

权利要求：

百度查询： 四川大学 一种共享骨骼信息跨模态融合的个体身份识别方法