买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：一种基于指纹和指静脉的多模态识别方法，将采集到的指纹、指静脉图片，分别作为网络的独立输入，用于特征提取和分析；分别从通道与空间的维度，通过注意力机制，分析指纹与对应的指静脉之间的相关性，融合指纹与指静脉特征；使用Softmax函数，确定最终的生物特征识别结果。本方法预处理操作简单，只需要提取指纹、指静脉的ROI即可，可以最大限度地保存图像中的细节特征，减少额外的计算机资源消耗；相比于现有使用单一生物模态的生物特征识别方法，本发明提出融合指纹、指静脉图像，可显著增加生物特征的判别性特征，通过挖掘不同生物特征之间的互补性信息，提高生物特征识别系统的准确率。

主权项：1.一种基于指纹和指静脉的多模态识别方法，其特征在于：所述方法包括如下步骤：步骤1：获取指纹、指静脉图像数据；通过采集设备，记录被采集人的指纹、指静脉图像数据；步骤2：将步骤1获得的所有数据，提取相对应的感兴趣区域ROI；步骤3：构建网络模型，进行特征提取、融合与分类，使用步骤2获取的采集数据对模型进行训练，获得最佳的模型参数；网络模型主要包含两个分支网络和一个多特征融合模块；步骤3.1：构建分支网络；第一分支网络用于提取指纹特征，包含多个卷积、池化、归一化、激活函数层；将步骤2提取的指纹ROI图像输入到网络中提取特征；第二分支网络用于提取指静脉特征，包含多个卷积、池化、归一化、激活函数层；将步骤2提取的指静脉ROI图像输入到网络中提取特征；第一分支网络包含5个卷积层，其中第一个卷积层包含1个7×7的卷积层、1个归一化层、1个激活函数层、1个3×3的最大池化层，其余四个卷积层均包含1个3×3的卷积层、1个归一化层、1个激活函数层、1个3×3的最大池化层；第二分支网络用于提取指静脉对应的特征信息矩阵，包含5个卷积层和1个自适应池化层，其中第一个卷积层包含1个7×7的卷积、1个归一化、1个激活函数、1个3×3的最大池化，其余四个卷积层均包含1个3×3的卷积、1个归一化、1个激活函数、1个3×3的最大池化；步骤3.2：构建多特征融合模块；该模块接受两个分支网络的输出，将其作为输入，再使用通道、空间注意力机制融合不同模态的特征并输出；多特征融合模块包含通道注意力模块、空间注意力模块和两个sigmoid层，其中通道注意力模块包含2个1×1的卷积层、1个激活函数层、1个自适应池化层，空间注意力模块包含2个7×7的卷积层、2个归一化层、1个激活函数层、1个sigmoid层；多特征融合模块中，首先将两个分支网络模块的输出作为输入，经过初始特征聚合IFI，获得矩阵Finitial，其计算公式如公式1所示： 其中Ffp为指纹特征信息矩阵，Ffv为指静脉特征信息矩阵，⊕代表逐元素加；将Finitial输入到通道注意力模块，得到矩阵Fc；将Fc输入sigmoid1之后，得到经通道注意力模块的指纹指静脉融合系数Fc_final和1-Fc_final；将Fc输入到空间注意力模块，得到另一个矩阵Fs；将Fs输入sigmoid2之后，得到经空间注意力模块的指纹指静脉融合系数Fs_final和1-Fs_final；经上述步骤后，根据式2计算出指纹、指静脉特征融合后的输出结果Output： 其中，代表逐元素相乘，代表逐元素相加；步骤3.3：使用采集到的指纹、指静脉图像数据对上述网络模型进行训练，获得最佳的模型参数；步骤4：应用模型；向网络模型输入所需识别的指纹、指静脉图像，模型输出相应的识别结果。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种基于指纹和指静脉的多模态识别方法