恭喜西北工业大学张秀伟获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜西北工业大学申请的专利一种兼顾弱变化及突然变化的变化检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117237947B 。
龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311071606.X,技术领域涉及:G06V20/70;该发明授权一种兼顾弱变化及突然变化的变化检测方法是由张秀伟;安博远;张艳宁;张宝森;魏辰旭;梁悦;尹翰林设计研发完成,并于2023-08-24向国家知识产权局提交的专利申请。
本一种兼顾弱变化及突然变化的变化检测方法在说明书摘要公布了:本发明公开了一种兼顾弱变化及突然变化的变化检测方法,首先,采用现有的光流数据集与目标检测数据集,构造新的具有缓慢移动和突然变化两个特点的数据集,将标注好的数据集划分为训练集、验证集和测试集。然后,构建变化检测网络,包括光流检测分支和突然变化检测分支。光流检测分支中使用金字塔的结构,提取多尺度的位移;突然变化检测分支使用骨干网络为ResNet的结构,通过多尺度池化、上采样和卷积等将输出结果转变为黑白二值图。采用SGD优化器对构建的神经网络进行训练。最后,输入待测试的图像,使用训练好的模型进行测试。本发明能够对多尺度位移变化特征进行融合,能够同时检测出突然变化和弱变化的特征,得到更好的变化检测效果。
本发明授权一种兼顾弱变化及突然变化的变化检测方法在权利要求书中公布了:1.一种兼顾弱变化及突然变化的变化检测方法,其特征在于,包括如下步骤:步骤1:构建数据集;每一对双时相图像,都包括一个光流检测标签和一个变化检测标签;从语义分割数据集中选取潜在的变化对象,通过图像预处理技术,粘贴到双时相图像中,并保存对应的二值变化检测标签;形成训练集和测试集;步骤2:构建变化检测网络;所述变化检测网络包括光流检测分支和突然变化检测分支;所述光流检测分支采用金字塔结构,提取多尺度的位移变化,得到光流输出;所示突然变化检测分支使用骨干网络为ResNet的网络结构,再通过多尺度池化、上采样和卷积转变为黑白二值图,作为突然变化输出;步骤2-1:构造光流检测分支:输入双时相图像T00和T01,假设其尺寸为H,W,光流检测总共有5个U形级联的分支层,具体层数记为k∈[0,4];每个分支包括warp操作w·、上采样操作u·、2倍下采样操作和卷积块Gk,即G0,G1,G2,G3,G4;第k分支层的输入为双时相图像Tk-10与Tk-11;对双时相图像进行下采样,记为Tk0和Tk1,对应尺寸为H2k,W2k;对第k+1分支层的光流估计量Vk+1进行上采样得到uVk+1,通过卷积块Gk估计当前的光流残差量vk,将两者相加得到当前第k层的光流估计输出Vk,如公式1所示:Vk=uVk+1+vk1光流检测分支中的卷积块Gk的输入为T0时刻的图像Tk0、k+1层得到的光流估计量的上采样结果uVk+1和运动补偿后的图像wTk1,uVk+1,其中wTk1,uVk+1是指将uVk+1与T1时刻的图像Tk1进行warp操作;将以上三个输入进行通道堆叠后,经过五个卷积层,卷积核均为5*5,步长均为1,输出的通道数分别为32,64,32,16,2;卷积块Gk的输出记为vk,作为当前分支层的光流残差量,见公式2: 对于光流检测分支的最底层即第4层,由于不存在上一层得到的光流估计量Vk+1,因此选用0矩阵作为初始化输入,通过卷积块G4后,得到金字塔底层的输出V4;对于金字塔网络的最顶层即第0层,无需进行下采样操作,该层的输出记为V0,作为光流网络分支的最终输出,即output1;步骤2-2:构造突然变化检测分支:突然变化检测分支的输入有三个:双时相图像T00和T01以及光流检测分支的得到结果output1;首先,将output1与T1时刻的图像T01进行warp操作,得到运动补偿后的图像wT01,output1,将T0时刻图像T00与运动补偿后的图像wT01,output1进行绝对差分操作;而后,将绝对差分结果输入到主干网络为ResNet50的卷积块中,得到的输出记为F0;然后,将特征图F0分别输入到4个并联的最大池化操作1*1,2*2,3*3,6*6中,生成4个不同尺寸的特征图F1,F2,F3,F4;而后,将F1,F2,F3,F4经过不同的上采样得到4个相同的尺寸H,W的特征图,与原始特征图F0进行通道堆叠,再经过步长为1的3*3卷积,正则化与ReLU激活函数得到512通道数的特征图F5;最后,经过步长为1的3*3卷积与Sigmoid激活函数得到单通道的二值变化特征图F6,作为突然变化检测分支的最终输出,即output2;步骤3:对变化检测网络进行训练,将训练集中数据分批次输入变化检测网络中,得到光流输出和突然变化输出;突然变化检测分支利用变化检测标签计算二元交叉熵损失;光流检测分支利用光流检测标签计算L2范数损失,并以突然变化检测的真值标签为掩码,仅仅计算非突然变化区域的损失;联合两个损失使用SGD优化器进行优化,直至目标函数的值停止下降时结束训练;步骤4:将测试集输入步骤3训练完成的变化检测网络,得到预测的结果图,并使用平均EPE指标和F1指标的综合FEPE指标进行综合评价;综合F1指标和平均EPE指标,设计了新的评价指标FEPE;1F1指标通过变化检测得到的预测结果和变化检测标签的组合有四种:TP、FP、FN、TN,具体来说,TP指预测是正确的正样本,TN指预测是错误的负样本,FP指预测是正确的负样本,FN指预测是错误的正样本;F1指标是Precision即精确率,见公式6和Recall即召回率,见公式7的调和平均值,其取值范围在[0,1],见公式8;Precision=TPTP+FP6Recall=TPTP+FN7 2平均EPE指标EPE指标计算的是光流估计量和标签实际流量的欧氏距离,光流估计量记为实际流量记为见公式9: 提出一个新的平均EPE指标,记为mEPE,mEPE指标是对存在偏移的标签区域Q和存在偏移的预测区域Q*的并集内的所有像素点做均值,见公式10: 3FEPE指标FEPE指标的取值范围在[0,+∞],为了保证分母不为0,分母中加入一个扰动量ξ,具体见公式11: 当F1指标越大越小,即变化检测效果越好越差;平均EPE指标越小越大,即光流估计效果越好越差;FEPE指标越大越小,即预测效果越好越差;而实现全面的评价。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西北工业大学,其通讯地址为:710072 陕西省西安市友谊西路127号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。