买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:浙江工商大学
摘要:本发明公开了一种基于三维人脸对齐的移动端实时假发试戴方法。本发明首先使用关键点损失函数、形状一致损失函数、光度一致损失函数训练教师模型,再通过参数损失由学生模型学习教师模型,并使用顶点损失函数优化学生模型,最后通过增强现实技术绘制实现假发试戴。本发明通过压缩标准3DMM模型大幅度减少了计算量,真正做到了在移动端设备上进行实时的假发试戴,同时具有逼真的效果和流畅的体验,为假发试戴技术的大范围推广提供了技术支持。
主权项:1.一种基于三维人脸对齐的移动端实时假发试戴方法,其特征在于该方法包括以下步骤:步骤1、训练教师模型1-1使用人脸识别算法搜集人脸图片,并经人工筛选,得到人脸角度、人种、性别平衡的数据集;1-2使用所述数据集以resnet50为骨架网络,通过关键点损失函数、形状一致损失函数、光度一致损失函数进行自监督训练教师网络,教师网络类型为参数回归网络;所述教师网络的回归目标为106维的参数向量,其中40维为形状参数,20维为表情参数,40维为纹理参数,余下6维为姿态参数;步骤2、训练学生模型2-1学生网络以GhostNet为骨架网络,学生网络类型同为参数回归网络,使用参数损失对教师网络进行学习;所述学生网络的回归目标为66维,其中40维为形状参数,20维为表情参数,余下6维为姿态参数;2-2使用顶点损失函数对学生网络进行微调,以得到最优的网络参数;步骤3、3DMM模型压缩3-1使用网格压缩算法对3DMM标准中性人脸进行网格压缩;3-2将进行过网格压缩的中性人脸与原始人脸作对比,根据最小距离找出在原始人脸中最接近的顶点;3-3从3DMM模型参数中获取步骤3-2所得到的顶点所对应的参数,并重新组织顶点索引,得到简化的3DMM模型;步骤4、假发试戴4-1制作假发的三维模型,并调整其坐标到统一的范围,保存为obj文件;4-2将采集到的图像作为学生模型输入,进行推理,输出使用经过简化的3DMM模型计算得到重建的三维人脸坐标;4-3使用OPENGLES技术将所计算得到的人脸对假发三维模型进行遮挡,并最终绘制到屏幕上,实现增强现实绘制。
全文数据:
权利要求:
百度查询: 浙江工商大学 一种基于三维人脸对齐的移动端实时假发试戴方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。