买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明涉及基于声纹的动画角色智能同步用户方法,具体涉及多模态数据处理领域,利用高清摄像头采集用户形象数据,并对用户形象数据进行缩放、像素点位置的匹配和填充,通过直方图均衡化增强图像对比度,利用高斯滤波加权对用户形象数据存在噪声进行去除,使用户形象数据在固定尺寸下保持清晰,并且细节丰富,构建卷积神经网络基于动画的主色调和角色形象输出最终的用户虚拟形象,利用麦克风采集用户声纹数据,通过傅里叶变换对每个窗口的声音信号进行频谱表示,构建Transformer编码器并添加自注意力机制和前馈神经网络,将用户虚拟形象和用户声纹转换的动画语音进行同步并自动替换,为用户提供更加个性化和沉浸式的交互体验。
主权项:1.基于声纹的动画角色智能同步用户方法,其特征在于,具体包括以下步骤:S101.利用高清摄像头采集用户形象数据,并对用户形象数据进行缩放、像素点位置的匹配和填充,通过直方图均衡化增强图像对比度,利用高斯滤波加权对用户形象数据存在噪声进行去除;S102.构建卷积神经网络并通过输入层接收用户形象数据,输出用户形象面部关键点的特征映射到不同的用户形象类别,基于动画的主色调和角色形象,输出最终的用户虚拟形象;S103.利用麦克风采集用户声纹数据并划分成多个短时段的窗口,利用汉明窗对每一帧的用户声纹数据的声音信号进行加窗处理,通过傅里叶变换对每个窗口的声音信号进行频谱表示;S104.将用户虚拟形象和用户声纹转换的动画语音作为输入序列,构建Transformer编码器并添加自注意力机制和前馈神经网络,将用户虚拟形象和用户声纹转换的动画语音进行同步并自动替换。
全文数据:
权利要求:
百度查询: 北京优趣时光文化科技有限公司 基于声纹的动画角色智能同步用户方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。