买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜武汉纺织大学申请的专利一种基于多模态信息的服装草图到图像生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115393456B 。

龙图腾网通过国家知识产权局官网在2025-06-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210885260.6，技术领域涉及：G06T11/00；该发明授权一种基于多模态信息的服装草图到图像生成方法是由陈佳;文炎芳;胡新荣;彭涛设计研发完成，并于2022-07-26向国家知识产权局提交的专利申请。

本一种基于多模态信息的服装草图到图像生成方法在说明书摘要公布了：本发明涉及一种基于多模态信息的服装草图到图像生成方法，本发明利用多模态信息的协同特征表示，提出了一个用于服装草图到图像的多模态生成模型，该模型结合了CNN多尺度特征提取的优势与Transformer强大的掩码注意力机制，对于服装图像，提出一个分层编码模型，并引入特征匹配损失，使得生成的服装图像纹理更加清晰。同时，提出一个Duplicate‑Transformer学习不同模态信息之间的关联，协同指导生成具有指定属性的服装图像。本发明的方法可以生成高度真实的服装图像，并且在属性控制方面具有更大的灵活性，多样性和保真度都得到了较为明显的提升。

本发明授权一种基于多模态信息的服装草图到图像生成方法在权利要求书中公布了：1.一种基于多模态信息的服装草图到图像生成方法，其特征在于，包括以下步骤：步骤1、将服装图像输入训练好的服装图像分层编码模型，利用服装图像分层编码模型将服装图像处理得到服装局部信息与服装全局信息，并利用对应的基向量空间分别将服装局部信息与服装全局信息进行向量量化，得到服装的全局信息编码与服装的局部信息编码；将服装草图输入草图编码模型，得到草图编码；将文本输入输入文本编码模型，得到文本编码；服装图像分层编码模型的训练方法包括以下步骤：步骤1.1、将图像x输入编码器E，编码器E将图像x下采样到原来的14大小，得到包含细节信息的局部特征图然后继续下采样到原来的18得到包含全局信息的全局特征图求Zglobal的方法为：对于全局特征图Zglobal中位置i,j的每个向量，量化器q·通过最近邻算法在Vglobal中找到与之最接近的向量ek并进行替换得到Zglobal；求Zlocal的方法为：将Zglobal上采样到与Zlocal相同的尺寸并与其进行残差连接，得到新的融合特征，然后通过最近邻算法在Vlocal中找到该融合特征图中每个位置最接近的向量ek并进行替换，得到Zlocal；步骤1.2、将局部特征图Zlocal输入局部基向量空间Vlocal，得到服装的全局信息编码Zlocal，将全局特征图Zglobal输入全局基向量空间Vglobal，得到服装的全局信息编码Zglobal；步骤1.3、将服装的全局信息编码Zlocal和服装的全局信息编码Zglobal输入到解码器D，得到重建图像:x'＝DZlocal,Zglobal步骤1.4、利用判别器计算总损失函数L＝Lencoding+Lfm，其中Lfm为判别器所有层损失值的平均值，计算判别器第k层损失值的公式为：其中N是判别器第k层的特征数，为第k层判别器提取图像x的第i个特征； 其中为求L2范数，||·||2为求均方误差损失，sg[]表示停止梯度传播，停止更新该部分参数；通过最小化总损失函数对编码器E、局部基向量空间Vglobal、全局基向量空间Vglobal、解码器D和判别器的参数进行训练，训练完毕后得到训练好的服装图像分层编码模型；步骤2、将草图编码和文本编码共同构成条件信息，与服装全局信息编码连接共同输入Transformer-G，Transformer-G中的掩码注意机制自动生成服装全局信息序列；将服装图像的全局信息编码作为条件信息，与服装的局部信息编码连接共同输入Transformer-L，自动生成服装局部信息序列；其中，Transformer-L用于生成服装细节信息编码，Transformer-G用于生成服装全局信息编码；步骤3、将生成的服装全局信息序列与服装局部信息序列分别在对应的基向量空间中找到对应的向量并分别转换为全局二维特征图和局部二维特征图，将全局二维特征图和局部二维特征图输入到训练好的解码器D生成最终图像。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人武汉纺织大学，其通讯地址为：430073 湖北省武汉市洪山区纺织路一号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。