申请/专利权人：北京元客方舟科技有限公司

申请日：2024-03-01

公开（公告）日：2024-07-05

公开（公告）号：CN118298482A

主分类号：G06V40/16

分类号：G06V40/16;G06V10/40;G06V10/774;G06V10/80;G06V20/40

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.07.23#实质审查的生效;2024.07.05#公开

摘要：本申请公开了一种2D数字人交互系统和2D数字人交互方法，属于数字人技术领域。该系统包括：第一特征提取器、第二特征提取器、数据采集处理模块、模型特征处理模块和视频流处理输出器，提取第一人脸特征集、第一渲染特征、第二语音特征、第二模型特征和第二渲染特征集，采集数字人交互数据生成数字人交互对应的语音文本特征，将语音文本特征转换为目标语音特征，基于语音文本特征进行特征空间变换，得到目标渲染特征，基于第一人脸特征集，将目标渲染特征变换到第一渲染特征空间并与目标语音特征进行融合，输出数字人交互视频。该系统可以实现2D数字人带有表情、情感的交互，写实度高，可以应用于多种交互场景。

主权项：1.一种2D数字人交互系统，其特征在于，包括：第一特征提取器和第二特征提取器，所述第一特征提取器用于获取第一输入视频进行特征提取，得到第一人脸特征集和第一渲染特征，所述第二特征提取器用于获取第二输入视频进行特征提取，得到第二语音特征、第二模型特征和第二渲染特征集；数据采集处理模块，所述数据采集处理模块用于采集数字人交互数据，并生成数字人交互对应的语音文本特征；模型特征处理模块，所述模型特征处理模块与所述第二特征提取器以及所述数据采集处理模块连接，所述模型特征处理模块包括语音生成器、模型驱动器、特征定位解算器和人脸特征转换器，所述语音生成器用于基于所述第二语音特征，将所述语音文本特征转换为目标语音特征，所述模型驱动器用于将所述语音文本特征转换为第一模型特征，所述特征定位解算器用于将所述第一模型特征定位变换到模型特征空间，得到目标模型特征，所述模型特征空间基于所述第二模型特征确定，所述人脸特征转换器用于将所述目标模型特征转换到第二渲染特征空间，得到目标渲染特征，所述第二渲染特征空间基于所述第二渲染特征集确定；视频流处理输出器，所述视频流处理输出器与所述第一特征提取器以及所述模型特征处理模块连接，所述视频流处理输出器用于基于所述第一人脸特征集，将所述目标渲染特征变换到第一渲染特征空间，并与所述目标语音特征进行融合，输出数字人交互视频，所述第一渲染特征空间基于所述第一渲染特征确定。

全文数据：

权利要求：

百度查询： 北京元客方舟科技有限公司 2D数字人交互系统和2D数字人交互方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD