买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：随着深度学习技术的日益发展，真实环境下对模型泛化性能的要求日益提升，光照、背景等等差异对模型泛化性能的影响已经引起了广泛关注。本发明公开了一种基于运动前景的场景自适应目标检测方法。该方法通过利用运动前景与全局目标数据分布一致性的先验，有效利用了运动前景目标框，同时通过解码器进行实例特征相似度计算，极大程度了提升了模型在目标域的效果。实验结果表明，本发明所提供的方法在真实环境下目标检测效果得到大幅度提升。

主权项：1.一种基于运动前景的场景自适应目标检测方法，其基于源域数据和目标域的前景数据对模型进行训练，使得模型在目标域T上也拥有良好的检测效果，其特征在于包括如下步骤：A把源域连续帧样本集合和目标域连续帧样本集合输入运动目标检测算法,输出源域连续帧样本的运动前景目标框和目标域连续帧样本的运动前景目标框，与源域标注标签共同构成源域数据集与目标域数据集；B将源域数据集与目标域数据集输入特征提取模块获取源域特征和目标域特征；C将源域特征、目标域特征和运动前景目标框分别输入第一候选框前景框聚合模块PFA1，得到源域实例特征和目标域实例特征；D将源域特征与源域运动前景目标框输入第二候选框前景框聚合模块PFA2，得到源域分类回归特征；E把源域分类回归特征输入分类回归模块，与源域目标框真值标签计算损失，从而在源域上获取优化的检测效果；F把源域实例特征和目标域实例特征输入生成式相似性计量模块GSM，使得源域实例特征和目标域实例特征尽可能相似并提升泛化性能，减少过拟合；G把源域特征和目标域特征输入全局特征对齐模块GFA，使图像特征对齐,从而使得源域特征和目标域特征的所属域无法被分辨出,所述第一候选框前景框聚合模块PFA1包括分别进行如下操作的子模块：步骤S201：把源域连续帧样本和目标域连续帧样本输入RPN网络，生成源域正负候选框集合和目标域正负候选框集合；步骤S211：选取步骤S201中生成的源域正负候选框集合和目标域正负候选框集合中置信度大于预设的阈值TH的源域正负候选框和目标域正负候选框；步骤S202：通过运动目标检测算法获取源域运动前景目标框和目标域运动前景目标框；步骤S212：合并步骤S211得到的置信度大于预设的阈值TH的源域正负候选框和目标域正负候选框与步骤S202获取的源域运动前景目标框和目标域运动前景目标框，获取源域合并目标框与目标域合并目标框；步骤S213：通过样本均衡过滤器，获取第一候选框前景框聚合模块PFA1的源域候选框和目标域候选框；样本均衡过滤器通过复制或删除步骤S212中生成的源域合并目标框与目标域合并目标框，从而使源域S中的第i个样本包括的源域合并目标框与目标域T的第i个样本中包括的目标域合并目标框的数量保持一致，从而有效利用运动前景先验并消除样本不均衡；所述第二候选框前景框聚合模块PFA2包括分别进行如下操作的子模块：步骤S301：使源域连续帧样本通过RPN网络，生成源域正负候选框集合；步骤S302：利用运动目标检测算法获取源域运动前景目标框；步骤S311：叠加源域正负候选框集合与源域运动前景目标框，生成第二候选框前景框聚合模块PFA2的源域候选框集合，通过在源域正负候选框集合中加入源域运动前景目标框，解决源域与目标域的目标尺寸差异过大时模型无法生成好的候选目标框的问题；生成式相似性计量模块GSM包括分别进行如下操作的子模块：步骤S401：使用步骤S213中生成的第一候选框前景框聚合模块PFA1的源域候选框，截取源域特征中的源域实例特征；使用步骤S213中生成的第一候选框前景框聚合模块PFA1的目标域候选框，截取目标域特征中的目标域实例特征；步骤S402：将源域实例特征和目标域实例特征输入自适应平均池化层，将源域实例特征和目标域实例特征的尺寸改变为8*8，通道数等于源域实例特征的通道数，输出源域池化层特征和目标域池化层特征；步骤S403：将S402中获得的源域池化层特征和目标域池化层特征输入第一1*1卷积层，该第一1*1卷积层是一个1*1卷积层，输出源域第一卷积层特征和目标域第一卷积层特征；步骤S404：将S403中获得的源域第一卷积层特征和目标域第一卷积层特征输入第一上采样模块，该第一上采样模块执行插值上采样、卷积和或批标准化层操作，输出源域第一上采样层特征和目标域第一上采样层特征；步骤S405，将步骤S404中第一上采样模块的输出输入第二上采样模块，该第二上采样模块执行插值上采样、卷积和或批标准化层操作，输出源域第二上采样层特征和目标域第二上采样层特征；步骤S406，将步骤S405中第二上采样模块的输出输入第三上采样模块，该第三上采样模块执行插值上采样、卷积和或批标准化层操作，输出源域第三上采样层特征和目标域第三上采样层特征；步骤S407，将步骤S406中第三上采样模块的输出输入第二1*1卷积层，该第二1*1卷积层是一个1*1卷积层，生成源域解码特征和目标域解码特征，源域解码特征和目标域解码特征的通道数为3，计算源域解码特征和目标域解码特征的感知损失，得到损失Lins：Lins＝EGS,GT其中：Lins为源域解码特征和目标域解码特征的感知损失值，E为感知损失计算函数，GS代指源域实例特征经过步骤S402-S407生成的源域解码特征，GT代指目标域实例特征经过步骤S402-S407生成和目标域解码特征，全局特征对齐模块包括分别进行如下操作的子模块：步骤S501:获取源域特征和目标域特征；步骤S502：将源域特征,目标域特征输入梯度反转层输出分类特征，梯度反转层将传到本层的误差取反，从而实现梯度反转层前后的网络训练目标相反，以实现对抗的效果，输出分类特征，步骤S503：把上述分类特征输入分类器，以区分源域特征和目标域特征，该分类器包括第一分类器卷积层、第一分类器激活层、第二分类器卷积层；其中：梯度反转层在图像层面实现一定程度的特征对齐，全局特征对齐模块GFA的损失函数为分类器的损失函数。

全文数据：

权利要求：

百度查询： 北京航空航天大学杭州创新研究院 一种基于运动前景的场景自适应目标检测方法