买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川大学

摘要：本发明公开了一种基于时序对比学习的深度伪造视频检测模型构建方法，包括步骤：1，构建前序视频片段训练样本集和后序视频片段训练样本集；2，将训练样本输入短期时序对比学习网络和长期时序对比学习网络，提取短期时序特征和长期时序特征；3，短期时序特征融合长期时序特征；4，将融合特征输入二分类器进行分类；将步骤1构建的前序视频片段训练样本集和后序视频片段训练样本集的每一组训练样本，经步骤2‑4训练检测模型，直到损失函数不再减小，得到训练好的检测模型。本发明使用视频自身时序一致性作为辅助监督，引导模型关注伪造产生的通用的时序不一致痕迹，充分挖掘伪造视频长期与短期的时序伪影，为深度伪造视频检测提供了有效的模型。

主权项：1.基于时序对比学习的深度伪造视频检测模型构建方法，其特征在于，包括：步骤1，构建前序视频片段训练样本集和后序视频片段训练样本集；1.1抽取视频训练集中视频v的T帧图像；1.2对T帧图像进行预处理，得到图像xt，t＝1，2，3，…，T；1.3构建前序视频片段upre＝[xt+1，xt+2，…，xt+tg]和后序视频片段upost＝[xt+1+to，xt+2+to，…，xt+tg+to]；其中，tg是前序视频片段的图像数，to是用于增大样本的时序覆盖范围的间隔，t+tg+to≤T；1.4对视频训练集中所有视频，按照步骤1.1-1.3的方法得到每一个视频的前序视频片段和后序视频片段；构建前序视频片段训练样本集和后序视频片段训练样本集其中，N是视频训练集的视频数量；如视频训练集中的视频为真实视频，则其前序视频片段和后序视频片段为正样本；如视频训练集中的视频为伪造视频，则其前序视频片段和后序视频片段为负样本；步骤2，将训练样本输入短期时序对比学习网络和长期时序对比学习网络，提取短期时序特征和长期时序特征；所述短期时序对比学习网络包括tg个共享权重的图像特征提取器，所述长期时序对比学习网络包括两个共享权重的视频特征提取器；2.1将训练样本输入短期时序对比学习网络，提取短期时序特征；将训练样本u的tg个图像分别输入tg个图像特征提取器，得到训练样本u的短期时序特征式中，fis表示训练样本u的第i个图像的短期特征，i∈[1，tg]；所述训练样本u＝[x1，…，xtg]，u∈U；U为样本集，U＝Upre∪Upost；x1，…，xtg即视频训练集中任意一个视频的前序视频片段，或者后序视频片段；所述短期时序对比学习网络的损失函数为： 式中，j，k∈[1，tg]且j≠k；y∈{0，1}为训练样本u为正样本或负样本时所对应的正标签或负标签；ms是边界参数；2.2将训练样本输入长期时序对比学习网络，提取长期时序特征；将训练样本sa的前序视频片段、后序视频片段分别输入视频特征提取器，得到训练样本sa的长期时序特征式中，表示长期前序时序特征、长期后序时序特征；所述训练样本a∈[1，N]；sa∈S，S是由所有训练样本sa构成的样本集；即视频训练集中第a个视频的前序视频片段、后序视频片段；所述长期时序对比学习网络的损失函数为： 式中，y∈{0，1}表示训练样本sa为正样本或负样本时所对应的正标签或负标签；ml是边界参数；步骤3，短期时序特征融合长期时序特征；3.1构建短期时序特征中任意两个短期特征的距离dij的集合 其中 3.2归一化得到权重集合A， 式中，Softmax·表示归一化指数函数；3.3加权短期时序特征Fs中的短期特征， 式中，为加权后的短期特征，αjk∈A为短期特征的距离djk归一化后的值；3.4将加权后的短期特征按照其时间顺序进行拼接，得到融合后的短期时序特征Fs′， 式中，表示特征拼接操作；3.5将融合后的短期时序特征Fs′与长期时序特征Fl进行拼接，得到融合特征F′， 步骤4，将融合特征F′输入二分类器进行分类；将步骤1构建的前序视频片段训练样本集和后序视频片段训练样本集的每一组训练样本upre与upost，经步骤2-4训练检测模型，直到损失函数不再减小，得到训练好的检测模型；所述损失函数 式中，λs与λl分别为调整短期对比损失与长期对比损失的超参数，是二分类器的交叉熵损失函数。

全文数据：

权利要求：

百度查询： 四川大学 基于时序对比学习的深度伪造视频检测模型构建方法