恭喜南京信息工程大学金哲栋获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜南京信息工程大学申请的专利一种文本驱动的人体姿态与纹理编辑方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119251357B 。
龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411788202.7,技术领域涉及:G06T11/60;该发明授权一种文本驱动的人体姿态与纹理编辑方法及装置是由金哲栋;夏贵羽;杨派克;王梦祥;孙玉宝设计研发完成,并于2024-12-06向国家知识产权局提交的专利申请。
本一种文本驱动的人体姿态与纹理编辑方法及装置在说明书摘要公布了:本发明公开了计算机视觉领域的一种文本驱动的人体姿态与纹理编辑方法及装置。方法包括:首先从关于姿态信息的文本描述中提取特征,转换为骨架节点坐标并绘制成骨架图;再从服饰形状文本提取特征,结合骨架图通过编解码网络得到人体解析图;训练纹理感知的FSQ,学习不同纹理特征向量表示,将纹理文本描述与人体解析图输入FSQ进行采样,填充纹理并生成较粗糙但符合文本描述的人体图像。接着微调用于姿态迁移的扩散模型,用于对生成的人体图像质量进行进一步优化。该方法克服现有模型生成能力不稳定、对图像控制不足的问题,保证生成的人体图像逼真且与输入文本语义一致,为人体图像生成提供了新的有效途径。
本发明授权一种文本驱动的人体姿态与纹理编辑方法及装置在权利要求书中公布了:1.一种文本驱动的人体姿态与纹理编辑方法,其特征在于,包括:获取输入文本,所述输入文本包括关于目标姿态的文本描述、关于服饰形状的文本描述及关于纹理的文本描述;通过特征提取网络分别对所述目标姿态的文本描述、关于服饰形状的文本描述及关于纹理的文本描述进行提取,得到姿态特征向量、形状特征向量和纹理类别信息;将所述姿态特征向量输入训练好的姿态生成模型,得到相应的骨架坐标,并根据所述骨架坐标绘制成骨架图;将所述骨架图结合所述形状特征向量输入人体解析图生成模型,生成相应的人体解析图;将所述人体解析图结合所述纹理类别信息输入人体图像生成模型,得到粗糙目标人体图像;将所述粗糙目标人体图像输入质量提升网络,得到最终的人体图像;所述人体图像生成模型的执行方法包括:得到了人体解析图后,将人体解析图根据部位分为多个部分;然后关于纹理的文本描述中提取得到各部位的纹理类别信息;将各部位的纹理类别信息转换为one-hot编码的形式,得到各部位的纹理特征向量;将各部位的纹理特征向量按部位填充到人体解析图上,得到人体纹理图;将人体解析图、人体纹理图和全掩码初始索引序列共同输入进训练好的采样器中,得到更新后的索引序列;通过更新后的索引序列从预构建的编码本中得到对应编码,组成离散化后的特征向量,将所述离散化后的特征向量输入解码器得到粗糙人体图像;所述采样器的输入为人体解析图Tseg,人体纹理图Ttex以及全掩码初始索引序列Tcode,通过扩散的方式将全掩码初始索引序列逐步优化,直至得到目标人体图像对应的索引序列T′code,根据T′code从编码本中提取得到特征图Z2,将特征图Z2输入解码器得到粗糙人体图像f,过程表示为:T′code=MHAEcodeTcode,EsegTseg,EtexTtex;Z2=CT′code;f=DecZ2;其中MHA·为多头注意力网络,而Ecode、Eseg、Etex分别为全掩码初始索引序列、人体解析图以及人体纹理图所对应的可学习编码本,C·表示根据索引来提取编码本中的对应编码,Dec·为解码器;所述训练好的采样器的获取方法包括:获取人体图像作为源图像;将源图像输入训练好的有限标量量化模型FSQ得到真实索引序列;将全掩码初始索引序列、根据源图像生成的人体解析图和人体纹理图输入采样器,采样得到输出的索引序列;通过减小输出的索引序列与真实索引序列之间的差值训练采样器,得到训练好的采样器;所述有限标量量化模型FSQ包括:编码器,用于对输入的图像进行编码,得到离散前的特征图Z;离散化模块,用于对离散前的特征图Z中每一个向量通过缩放以及四舍五入的方式,使得每一维都是固定范围内的一个整数,得到离散后的特征图,过程表示为: 其中,Z为人体图像I通过编码器后得到的特征图,Zq是特征图Z通过离散化模块离散后的特征图,sg·为梯度截止函数,lbi为第i个纹理类别独热编码,cat·用于将两个向量在特征维度上连接,Round·操作为四舍五入操作,σ·为sigmoid操作,将特征向量的每一维都转换到0,1区间,L为超参数,用于控制向量每一维的取值范围;所述预构建的编码本的获取方法包括:针对每一类别的纹理分别训练得到的一个训练好的有限标量量化模型FSQ;提取每一类别的纹理对应的训练好的有限标量量化模型FSQ中离散化模块能够输出的特征向量范围,构成该类别的纹理对应的编码本,整体流程如下: 其中,E为原始的不同纹理的编码本集合,为第i种纹理所对应的编码本,ei为每一个编码本中的编码,为根据纹理类别更新后的第i类纹理对应的编码本,n为编码本的个数,即纹理类别的数量,cat·用于将两个向量在特征维度上连接,lbi为第i个纹理类别独热编码,d为超参数,用于控制维度,表示正整数集合。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京信息工程大学,其通讯地址为:210000 江苏省南京市江北新区宁六路219号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。