买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开一种基于网格纹理的单目视频服装纹理替换方法，该方法提出混合参数多层感知机获取视频中服装部分逐像素的UV，且为了能正确体现服装的褶皱、折叠与遮挡，同时减少纹理的扭曲效果，在UV回归过程中采用UV梯度约束；并且为了提升UV在时序变化中的连续性，减少最终纹理替换后的闪烁，该方法使用了时序约束，使用相近帧的UV来约束当前帧的UV；该方法还从视频中服装部分提取阴影层，以体现真实的光影效果。该方法适用于各种款式服装、各类环境光照和具有挑战性的人体动作。该方法易于使用，对设备要求低，并能产生高质量的结果。在时尚、电商与广告领域具有丰富的使用前景。

主权项：1.一种基于网格纹理的单目视频服装纹理替换方法，其特征在于，包括以下步骤：步骤一：使用物理仿真器仿真一块网格纹理布料，并使用渲染器渲染得到结果，作为合成训练数据；步骤二：构建并训练基于U-Net架构的格点网络、颜色网络、阴影网络和UV梯度网络，所述格点网络、颜色网络、阴影网络的输入均为H×W×3的原图，所述格点网络的输出为H×W×3的图，图上的每个像素包含三个通道，分别表示该像素为网格中心点的概率、该像素为网格角点的概率、该像素为其他的概率；所述颜色网络的输出为H×W×8的图，图上的每个像素包含八个通道，分别表示该像素为网格纹理八种颜色的概率；其中，八种颜色包括红色、蓝色、黄色、绿色、青色、紫色、白色和黑色，黑色为网格的边界颜色，其余为网格本身的颜色；所述阴影网络的输出为H×W×1的图，即阴影层；所述UV梯度网络的输入为H×W×3的原图和H×W×4的UV梯度方向，输出为H×W×4的UV梯度；步骤三：使用与步骤一相同网格纹理的布料，裁剪服装并由模特穿着，拍摄模特动作，生成视频；步骤四：将步骤三的视频的每一帧分别输入训练后的格点网络、颜色网络、阴影网络、UV梯度网络和光流预测网络，分别逐帧提取服装部分的图像的角点、中心点和颜色类别信息，阴影层、UV梯度，以及视频相邻两帧的前向和后向光流；并基于每帧图像服装部分的角点、中心点和颜色类别信息，采用对应点检测算法识别UV对应点；步骤五：构建并训练混合参数多层感知机，所述混合参数多层感知机包括基于随机傅里叶特征的维度提升层，以及四个尺寸为256的隐藏层，所述混合参数多层感知机为视频的每个关键帧定义一组MLP参数,且MLP参数随时间t连续变化；所述混合参数多层感知机的输入为每帧的序号和该帧图像的像素坐标，输出为UV坐标；训练所述混合参数多层感知机时，设置UV对应点约束和时序约束；步骤六：将步骤三得到的视频的每一帧输入训练后的混合参数多层感知机，得到每一帧每个像素的UV坐标，并得到UV梯度方向；将UV梯度方向和视频的每一帧输入训练后的UV梯度网络，逐帧提取服装部分的UV梯度；基于UV梯度，再次训练混合参数多层感知机，并额外施加UV梯度约束，得到二次训练后的混合参数多层感知机；步骤七：通过二次训练后的混合参数多层感知机得到每一帧每个像素的UV坐标，结合步骤三得到的逐帧提取服装部分的阴影层，得到具有真实阴影效果的服装纹理替换结果。

全文数据：

权利要求：

百度查询： 浙江大学 基于网格纹理的单目视频服装纹理替换方法