买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东南大学

摘要：本发明公开了一种基于面部关键点和深度神经网络的人脸表情识别方法，可用于实现对人脸面部表情的实时检测。该发明主要包括：获取人脸表情数据集，通过预处理提取出68个面部关键点，并对眼部、鼻部、嘴部区域进行划分，以此分别获得多路图像数据以及关键点坐标数据；训练表情分类网络，对图像数据和坐标数据分别采用卷积层和图卷积层提取特征，输出分类结果；在人脸表情分类数据集上评估网络的识别效果。本发明相比于当前主要的人脸面部表情分类算法，在保证识别实时性的前提下，获得了更高的平均分类准确率，是一种高质量的人脸面部表情识别算法。

主权项：1.一种基于面部关键点和深度神经网络的人脸表情识别方法，其特征在于，该方法包括如下步骤：步骤S1：根据公开的人脸表情数据集，构建训练集、验证集和测试集；通过预处理提取人脸面部若干个关键点特征信息，并对眼部、鼻部和嘴部区域进行划分，以此分别获得多路图像数据以及关键点坐标数据；步骤S2：构建基于卷积层和图卷积层的分类识别网络CGNet；利用所构建的训练集对CGNet网络模型进行监督训练，直到CGNet收敛到最优性能；在训练的过程中，用验证集来反应训练过程；步骤S3：将收敛的CGNet网络模型在所构建的测试集上进行测试，根据检测结果评估CGNet的网络性能；所述分类识别网络CGNet包括：aRGB图像特征提取模块：其输入为人脸图像及人脸图像划分后得到的眼部、鼻部、嘴部区域三张子图像，获得图像后首先基于ResNet18网络进行面部特征提取，随后分层取出ResNet18得到的特征信息，通过空间注意力机制强化模型对于局部信息的感知度，最终输出4路图像特征；b关键点位置特征提取模块：其输入为N×2的坐标信息，获得坐标信息后首先基于图卷积层进行特征提取，图卷积通过计算当前节点的相邻节点的聚合来表征一个节点，过滤掉一些特征不明显的节点，得到不同关键点的重要程度信息，最终输出1路位置特征；c特征融合模块：所述的特征融合模块采用通道注意力机制，通过输入上述4路图像特征和1路位置特征，使用通道注意力为每路特征计算出该路特征的权重，并与对应的特征值进行加权求和，从而产生将图像特征与位置特征融合的效果；所述关键点位置特征提取模块中的图卷积层具体为：神经网络中的图卷积层表示为以下的非线性函数：Hl+1＝fHl,A1对于上式，H0＝X为第一层的输入，X∈RN*D，N为图的节点个数，D为每个节点特征向量的维度，A为邻接矩阵；每一层图卷积层都表示为： 其中，σ·为ReLU激活函数，Wl为第l层的权重参数矩阵。

全文数据：

权利要求：

百度查询： 东南大学 一种基于面部关键点和深度神经网络的人脸表情识别方法