恭喜西北大学王小凤获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜西北大学申请的专利一种基于GAN网络将戏剧人物图片生成演唱视频的方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115908661B 。
龙图腾网通过国家知识产权局官网在2025-06-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211614145.1,技术领域涉及:G06T13/40;该发明授权一种基于GAN网络将戏剧人物图片生成演唱视频的方法是由王小凤;贺思凯;李治权;马静;吴思冬;乔相茹设计研发完成,并于2022-12-15向国家知识产权局提交的专利申请。
本一种基于GAN网络将戏剧人物图片生成演唱视频的方法在说明书摘要公布了:本发明公开了一种基于GAN网络将戏剧人物图片生成演唱视频的方法,包括步骤:1、收集秦腔戏曲演唱视频合成新数据集;2、定位新数据集中人脸的位置,以人脸为中心裁剪视频,并导入深度感知生成对抗网络;3、面部深度网络从训练集的戏曲视频里选取两个连续帧,从面部视频中恢复密集的3D面部几何形状;4、面部深度网络将戏剧妆容的RGB图像和戏曲视频的RGB图像帧分别生成各自的深度图,将深度图和对应的RGB图像连接形成RGB‑D,面部关键点检测网络输出K个面部关键点;5、生成扭曲特征;6、生成图像的细化扭曲特征;7、对细化扭曲特征进行解码生成图像;8、用mimsave函数将图像变为视频,用ffmpeg添加声音生成演唱视频,使视频中戏剧妆容人物的表情自然且连贯。
本发明授权一种基于GAN网络将戏剧人物图片生成演唱视频的方法在权利要求书中公布了:1.一种基于GAN网络将戏剧人物图片生成演唱视频的方法,其特征在于,包括如下步骤:步骤1、收集秦腔戏曲演唱视频,并将其添加到开源数据集VoxCeleb中,合成新的数据集;步骤2、先利用人脸识别定位新数据集中人脸的位置,再以人脸为中心使用ffmpeg裁剪视频从而生成预处理后的数据集,然后将预处理后的数据集分为训练集、验证集和测试集,并分批导入深度感知生成对抗网络;步骤3、面部深度网络以自监督的方式从训练集的戏曲驱动视频帧里选取两个连续帧用于学习逐像素面部深度图,最终从面部视频中恢复密集的3D面部几何形状;步骤4、面部深度网络将戏剧妆容的RGB图像和戏曲视频的RGB图像帧分别生成各自的深度图,并将生成的深度图和对应的RGB图像连接从而形成RGB-D,再通过面部关键点检测网络学习RGB-D面部关键点的几何和外观特征,并输出K个面部关键点;步骤5、人脸合成网络中的特征扭曲模块接受步骤4生成的面部关键点并生成用于扭曲源图像特征图的运动场,将面部运动与外观信息融合,生成扭曲特征;步骤6、深度编码器将输入的戏曲视频的RGB图像帧的面部深度图生成编码结果,并将编码结果和扭曲特征进行线性投影,通过三个1×1卷积层将其转换为三个潜在特征图Fq,Fk,Fv,将Fq与Fk融合从而生成用于人脸生成的密集引导,获得用于生成图像的细化扭曲特征;步骤7、对细化扭曲特征进行解码,生成一张图像,重复执行步骤4~步骤7,生成多张图像;步骤8、使用imageio的mimsave函数,将生成的多张图像变为视频,同时使用ffmpeg为视频添加声音,最终生成有声音的演唱视频。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西北大学,其通讯地址为:710069 陕西省西安市太白北路229号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。