买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明公开了一种基于面部动态捕捉的中文唇语识别方法,具体步骤为:使用深度相机采集面部连续像;对连续图像进行三维面部关键点估计,并计算面部动态特征;将面部动态特征输入到唇语识别模型中,得到拼音类别的概率分布;使用大语言模型根据拼音类别的概率分布进行文字序列预测,生成中文唇语识别结果。本发明创新性地引入了深度摄像头进行数据采集,提供了深度信息作为输入,有效增强了模型在低光照环境下的表现。同时,模型训练数据覆盖了更加多样化的生活场景,更贴合实际应用需求。因为直接利用面部动态数据,模型省掉了复杂的3D卷积预处理网络,使得模型能够快速高效处理数据。因此该技术具有广泛应用于智能手机智能移动设备的潜力。
主权项:1.一种基于面部动态捕捉的中文唇语识别方法,其特征在于,包括以下步骤:1使用深度相机采集待识别的面部连续图像;2对采集的面部连续图像进行三维面部关键点估计,根据关键点计算面部动态特征;3将面部动态特征输入到唇语识别模型中,得到拼音类别的概率分布;4使用大语言模型根据拼音类别的概率分布进行文字序列预测,生成中文唇语识别结果。
全文数据:
权利要求:
百度查询: 浙江大学 一种基于面部动态捕捉的中文唇语识别方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。