买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：一种基于三维人脸特征重建和图深度学习的真实环境面部表情识别方法，通过建立的三维密集人脸重建网络以及端到端的可训练三维人脸特征重建与学习网络模型3DF‑RLN，由单独的2D人脸图像重构得到面部外观和面部几何特征，有效表征了面部表情信息。由面部几何特征得到基于人脸关键点的面部拓扑图，可以反映面部几何特征间的相关性，对面部表情识别及相关研究有重大意义。CNN网络有效提取面部外观特征中包含的表情信息，GCN网络有效提取面部几何特征中包含的信息。由通道注意和softmax构成的融合识别模块有效融合面部外观特征和面部几何特征中包含的互补信息，提高表情识别准确率。总体而言，本方法提高了面部表情识别的准确率，提高真实环境面部表情识别效果。

主权项：1.一种基于三维人脸特征重建和图深度学习的真实环境面部表情识别方法，其特征在于：所述方法包括如下步骤：步骤1：将真实环境面部人脸表情图像输入三维密集人脸重建网络，输出面部外观特征和面部几何特征；其中，面部外观特征将多姿态人脸图像进行正脸化后得到的重建外观特征；面部几何特征为若干人脸关键点的三维坐标信息，该特征之后通过学习得到基于人脸关键点的面部拓扑图；步骤2：构建端到端的可训练三维人脸特征重建与学习网络模型3DF-RLN，3DF-RLN包括基于卷积神经网络的外观通道、基于图神经网络的几何通道和融合识别模块；所述的步骤2中的外观通道和几何通道；外观通道由卷积神经网络构成，由4个残差卷积块、4个通道注意力块、4个空间注意力块堆叠而成，连接顺序为每个残差卷积块后紧跟着一个通道注意力块和一个空间注意力块；几何通道由图神经网络构成，由7个图残差块、7个通道注意力块、7个空间注意力块堆叠而成，连接顺序为每个图残差块后紧跟着一个通道注意力块和一个空间注意力块；其中，为了适应表情识别任务，在两个通道最后加入了2个全连接层、1个归一化层和1个激活层，输出维度为256；所述的步骤2中的融合识别模块；融合识别模块由通道注意力块和softmax两部分构成，其中通道注意力块用于对外观通道和几何通道的输出分配合适的权重，softmax用于输出表情识别结果；融合识别模块中的通道注意力块结构与外观通道或几何通道中使用的通道注意力块结构一致；步骤3：利用步骤1中得到的面部外观特征和面部几何特征，对3DF-RLN模型进行训练；步骤4：识别一张新的人脸图像的表情类别时，首先经过步骤1得到的相应的面部外观特征和面部几何特征，再输入到3DF-RLN网络模型中最终得到该人脸图像的表情识别结果。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种基于三维人脸特征重建和图深度学习的真实环境面部表情识别方法