买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中南大学

申请日：2021-03-30

公开（公告）日：2024-12-06

公开（公告）号：CN115147886B

专利技术分类：..人脸，例如 面部部分、草图或表情[2022.01]

专利摘要：本发明公开了一种兼容真实人脸和漫画人脸的跨域关键点检测方法，通过建立人脸定性形状模型，并训练五官检测器、局部关键点检测器和整体关键点微调器后，使用五官检测器对人脸图像进行五官位置的初始检测得到候选五官框，然后使用QSM模型进行筛选以确定正确的五官框，然后使用局部关键点检测器分别对五官检测关键点，使用整体关键点微调器对关键点位置进行调整得到关键点。本发明的技术效果在于，本方法属于单源域领域泛化方法，仅需要真实人脸域作为源域，本方法相比于其他检测方法具有更强的泛化能力，能同时对真实人脸和漫画人脸进行关键点检测，对不同夸张风格的漫画人脸依然保证较强的鲁棒性。

专利权项：1.一种兼容真实人脸和漫画人脸的跨域关键点检测方法，其特征在于，包括以下步骤：步骤A，建立人脸定性形状模型即QSM模型，并训练五官检测器、局部关键点检测器和整体关键点微调器；步骤B，使用五官检测器对人脸图像进行五官位置的初始检测得到候选五官框，然后使用QSM模型进行筛选以确定正确的五官框；步骤C，使用局部关键点检测器分别对五官检测以得到关键点；步骤D，使用整体关键点微调器对关键点位置进行调整；所述的步骤A中，建立人脸定性形状模型包括以下步骤：步骤A1，将人脸五官分为4个独立的五官，分别是包含左眉毛的左眼、包含右眉毛的右眼、鼻子和嘴巴；计算人脸图像中各五官的中心点坐标，并确定五官之间的上下左右定性空间关系属性；步骤A2、根据上下左右定性空间关系属性生成五官样例，使用当前最佳假说算法在生成的所有样例上，进行归纳学习，获得五官的初始一阶逻辑定义；步骤A3、使用三原色相似度方法并结合上下左右定性空间关系，进行对称性检测；将对称性的检测结果转换成对称性定性空间关系属性；以析取的方式将对称性定性空间关系属性加入到步骤A2学习到的五官一阶逻辑定义中，从而组成人脸定性形状模型即QSM模型；所述的步骤A2包括：步骤A21，对于真实人脸数据集的每个样本，对每一个五官x分别生成归纳学习的正例和负例：以在人脸中除去五官x的其他五官组成的集合称为set，对五官x与集合set中每个五官成立的上下左右定性空间关系属性进行合取，得到五官x的正例；对集合set中的每一个五官，也分别将它们与set中的每一个五官成立的上下左右定性空间关系属性进行合取，得到五官x的负例；步骤A22，对于每一个五官，使用Current-best-hypothesis即当前最佳假说算法在该五官所有的正例和负例中进行归纳学习，且初始假说随机设置为该五官的其中某一个正例，在学习时若遇到假负例，即当前假说判定为负例，但实际为正例，则对当前假说进行泛化操作；若遇到假正例，即当前假说判定为正例，但实际为负例，则对当前假说进行狭化操作；若遇到真正例和真负例，则维持当前假说不变；归纳学习完成后得到各个五官的初始一阶逻辑定义；所述步骤A3包括：步骤A31，使用三原色相似度方法在真实人脸数据集上，计算每两种五官的表观相似度平均值，并统计这两种五官在真实人脸数据集上的上下左右定性空间关系；步骤A32，若这两种五官的相似度平均值大于阈值S，且在水平方向上存在恒成立的左关系或右关系，且在竖直方向上两个五官的上关系和下关系出现的次数相当，则判定这两种五官形成水平对称；若这两种五官的相似度平均值大于阈值S，且在竖直方向上存在恒成立的上关系或下关系，且在水平方向上两个五官的左关系和右关系出现的次数相当，则判定这两种五官形成竖直对称；步骤A33，将对称性的检测结果转换成对称性定性空间关系属性，若五官x与左眼、右眼、鼻子或嘴巴形成水平对称，则相应的属性horiSYMx,LE、horiSYMx,RE、horiSYMx,N、horiSYMx,M分别成立，若五官x不与任何其他五官形成水平对称，则属性horiSYMx,None成立；若五官x与左眼、右眼、鼻子或嘴巴形成竖直对称，则相应的属性vertSYMx,LE、vertSYMx,RE、vertSYMx,N、vertSYMx,M分别成立，若五官x不与任何其他五官形成竖直对称，则属性vertSYMx,None成立；步骤A34，以析取的方式将松弛对称性定性空间关系属性加入到步骤A22学习到的五官一阶逻辑定义中，从而组成人脸定性形状模型即QSM模型。

百度查询： 中南大学 兼容真实人脸和漫画人脸的跨域关键点检测方法