买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：复旦大学

摘要：本发明属于图像生成技术领域，具体为一种基于隐空间扩散模型的保真虚拟换装方法。本发明从两个方面对传统的隐空间扩散过程训练加以改进：通过利用仿射的衣服作为起点和局部条件，为模型提供保真的衣服先验，以分别减轻初始和过程中增加的随机性；通过衣服扁平化网络提供衣服一致性的保真监督，从原始扁平衣服中带来额外的图像级约束，提高虚拟换装的保真性；此外，还对设计基于仿射衣服的噪声采样方式改进推理过程，进一步提高模型的性能。

主权项：1.一种基于隐空间扩散模型的保真虚拟换装方法，问题的归结：给定一个人物图像和一个表示试穿区域的遮罩m∈{0,1}H×W，通过元素相乘得到一个与衣服无关的人物图像Pa；目标是将一件平整的衣服移植到Pa上，得到一个具有保真服装细节的照片般真实的试穿图像其尖角符号表示网络预估的结果；其特征在于，将初步仿射过的衣服作为起点和局部条件，为基于隐空间扩散模型提供保真的衣服先验；为此，引入一个衣服扁平化网络来约束生成的试穿图像，从而提供与衣服一致的保真监督；具体步骤如下：1首先，为基于隐空间扩散模型提供保真衣服先验，利用初步仿射过的衣服作为起点来解决初始随机性，并作为局部条件来缓解过程中增加的随机性；前向过程以εT为起点，或者以仿射衣服的特征εCw为起点；为了区分这两个起点，用上标m和p分别表示主要和先验的含义，从而将称为扩散主起点，将称为扩散先验起点；此外，还利用预先试穿衣服图像特征作为所有时间步的先验局部条件，其中针对对应的扩散前向过程，以任意的时间步长t在主要的和先验的起始隐空间特征和上逐渐添加高斯噪声得到对应t时间步数下对应的隐空间特征如下： 其中,下标t表示第t扩散时刻，并且βs是预先定义的方差调整值；针对对应的扩散逆向过程，将缩小的掩码mr∈{0,1}h×w作为去噪条件，并将预先试穿衣服图像特征εTw作为先验局部条件；将第t时刻的隐空间特征、先验局部条件和去噪条件沿通道维度串联起来，作为扩散U型架构网络的输入： 其中,[·；·]表示拼接操作；给定一对图像，得到两个不同的输入：主去噪输入和先验去噪输入这些输入分别通过相同的尝试扩散UNet进行处理，以预测主要的起始隐空间特征此外，还通过自监督视觉编码器DINO-V2对扁平衣服C进行编码，并通过交叉注意将其作为全局控制器注入每个UNet层，于是，单个样本和一个时间步长t的扩散训练损失函数如下： 其中,训练路径有助于保持现有扩散模型所建立的照片逼真度,而训练路径有助于提高所生成服装的保真度；2引入衣服一致性保真监督，具体为引入一个衣服扁平化网络它从生成的试穿图像中脱掉衣服，并将其平铺成原来的平面图像；所述衣服扁平化网络分为两步：i脱衣步骤和ii扁平化步骤；脱衣步骤通过使用预先解析的衣服遮罩mC遮挡生成的试穿图像来完成；扁平化步骤是一个反仿射过程，通过训练一个衣服扁平化网络来预测平整流来完成；具体地，衣服扁平化网络亦采用U型结构，利用特征金字塔网络FPN对衣服解析特征进行多尺度编码，然后采用设计的级联式流量估计块FEB，用缩小的扁平化衣服位置掩码预测扁平化流；按照SOTA外观流训练策略，使用混合损失函数来训练衣服扁平化网络，包括图像层面的损失和感知损失以及流层面的二阶平滑损失和总方差损失其对应损失为： 其中，是用于调整不同损失成分权重的超参数，下标*分别对应和的下标；训练好衣服平整化网络后，使用固定模型权重的衣服扁平化网络来处理生成的试穿图像得到预计的扁平化衣服度量预计的扁平化衣服和原始的扁平化衣服C之间的差异，进一步为试穿扩散训练提供衣服一致性保真监督，其定义为： 3整体训练及测试：训练阶段，通过将第t个时刻的隐空间特征与先验的局部条件和去噪条件进行拼接，得出每个样本的主要和先验去噪输入，即和然后，在全局控制器的引导下，试穿扩散对这两种输入进行单独处理，用扩散损失来估计尝试性隐空间特征；此外，还加入衣服扁平化网络，利用衣服一致性损失在公式5中提供衣服一致性保真监督；试穿扩散网络的总体训练损失如下： 其中，是一个权衡超参数；在训练阶段，只训练试穿扩散Unet和以及DINOV2模型后的全连接层；测试阶段，采用一种基于仿射衣服的噪声采样方式，进一步提高模型性能；鉴于之前所提出的先验去噪输入的训练，能从基于仿射衣服的高斯噪声中进行采样初始化，而对应采样的高斯噪声条件受限于经过仿射的衣服特征εCw；具体来说，基于仿射衣服的高斯噪声是经过T步扩散的先验隐空间特征即使用公式1进行T步向前扩散时间步后的仿射的衣服特征εCw。

全文数据：

权利要求：

百度查询： 复旦大学 一种基于隐空间扩散模型的保真虚拟换装方法