买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:拓元(广州)智慧科技有限公司
摘要:本发明公开了一种强化嘴部特征的说话头部生成方法,包括如下步骤:S1、采集目标人脸的丰富视频数据集;S2、构建目标人脸的三维坐标系,对人脸表情基系数进行光栅化处理,转换为二维图像;S3、对三维坐标系中的嘴部区域进行精细分离;S4、生成三维坐标和二维图像对,并利用算法高效筛选出差异性最大的N对,存储于目标人脸显式记忆库中;S5、将待处理图像的嘴部三维坐标作为查询健,与显式记忆库中的三维坐标进行匹配,计算查询键与显式记忆库中的键值对之间的余弦相似度;S7、将余弦相似度作为权重,与相应的二维图像进行加权融合;S8、生成高逼真的说话人头部视频。本发明结合显示记忆库的嘴部特征增强方法,实现高精度和个性化的说话头部生成。
主权项:1.一种强化嘴部特征的说话头部生成方法,其特征在于,包括如下步骤:S1、采集目标人脸的丰富视频数据集,获取全面的嘴部动态信息;S2、利用人脸参数模型进行精确的三维重建,构建目标人脸的三维坐标系,对人脸表情基系数进行光栅化处理,转换为二维图像;S3、对三维坐标系中的嘴部区域进行精细分离,结合相应的二维图像数据,截取嘴部区域的高频细节信息;S4、生成三维坐标和二维图像对,并利用算法高效筛选出差异性最大的N对,存储于目标人脸显式记忆库中;S5、在神经网络的Encoder-Decoder结构中,将待处理图像的嘴部三维坐标作为查询健,与显式记忆库中的三维坐标进行匹配,计算查询键与显式记忆库中的键值对之间的余弦相似度;S7、将余弦相似度作为权重,与相应的二维图像进行加权融合,并将结果精细地融合进Encoder的中间层输出中;S8、利用神经渲染技术,结合人脸表情基系数和三维坐标信息,生成高逼真的说话人头部视频。
全文数据:
权利要求:
百度查询: 拓元(广州)智慧科技有限公司 一种强化嘴部特征的说话头部生成方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。