买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开了一种基于扩散模型的位置可控的文生视频方法，该方法具体步骤如下：获取任意的训练数据集；设计文生视频模型的整体框架，利用时空位置感知层使文生视频模型拥有定位感知能力和时序感知能力；定义优化目标，在给定训练数据集上训练文生视频模型，不断迭代，训练好文生视频模型后，进行推理，生成对应的视频。本发明将位置信息和时序信息通过即插即用的方式插入到文生视频模型中，高效地实现位置可控的文生视频任务。本发明可以生成位置可控的时序连续的视频，并且可以在众多开源的文生图模型上有良好的效果。

主权项：1.一种基于扩散模型的位置可控的文生视频方法，其特征在于，包括以下步骤：S1、获取用于训练文生视频模型的训练数据集，所述训练数据集由分辨率相同的目标视频段组成，每个目标视频段对应一个文本描述和一个位置信息；S2、构建文生视频模型，所述文生视频模型由一个特征编码器、一个位置感知的UNet网络、以及一个特征解码器组成；其中，所述UNet网络的编码器和解码器呈对称结构，UNet网络的编码器包含若干阶段的下采样过程，UNet网络的解码器包含若干阶段的上采样过程，下采样后输出各级特征图通过残差连接和上采样后输出的各级特征图进行融合；下采样过程的阶段数量和上采样过程的阶段数量相同，每个阶段的上采样过程或下采样过程均由若干个依次级联的时空位置感知层实现，所述时空位置感知层包含自注意力层、带有令牌选择的定位注意力层、交叉注意力层和时序注意力层以及带有可学习层嵌入的动态门控网络；S3、在所述训练数据集上训练所述文生视频模型，在训练文生视频模型时，只更新所述时空位置感知层中定位注意力层、时序注意力层以及动态门控网络的参数；在文生视频模型训练过程的每个迭代轮次中，将目标视频段以及文本描述和位置信息输入到文生视频模型中，加噪后的目标视频段由经过预训练的特征编码器映射成隐表示，将隐表示输入到UNet网络中进行下采样和上采样，得到采样后的特征并输入到经过预训练的特征解码器中，输出预测的视频段，完成像素级别的重建；S4、当文生视频模型训练完成后，从高斯分布的噪声中采样噪声，将待生成视频的位置信息和文本描述以及采样得到的噪声一起输入到训练好的文生视频模型中，输出符合文本描述和位置信息的视频。

全文数据：

权利要求：

百度查询： 浙江大学 基于扩散模型的位置可控的文生视频方法