恭喜安徽大学涂铮铮获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜安徽大学申请的专利基于模态独有和共有特征提取的图像显著目标检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114663371B 。
龙图腾网通过国家知识产权局官网在2025-04-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210236171.9,技术领域涉及:G06T7/00;该发明授权基于模态独有和共有特征提取的图像显著目标检测方法是由涂铮铮;王洪顺;刘夫武;张瑞欣;陈弘悦;王欣悦;钮洁;李成龙设计研发完成,并于2022-03-11向国家知识产权局提交的专利申请。
本基于模态独有和共有特征提取的图像显著目标检测方法在说明书摘要公布了:本发明公开一种基于模态独有和共有特征提取的图像显著目标检测方法,通过模态共有特征提取模块SFA来建模两种模态之间的强相关性,特征擦除模块FEB来建模不同模态之间的差异性;本发明充分利用多模态之间的相关性和差异性,从而使网络获得更强大的模态融合与信息选择的能力;通过特征解码实现各种信息的有利交互,本发明的显著图的置信度高于其他先进的方法。
本发明授权基于模态独有和共有特征提取的图像显著目标检测方法在权利要求书中公布了:1.一种基于模态独有和共有特征提取的图像显著目标检测方法,其特征在于:包括以下步骤:步骤S1、使用双流特征编码器编码获得可见光图像和热红外图像的多级特征,并将可见光的骨干特征标记为r1~r4,热红外的骨干特征标记为t1~t4;步骤S2、将最深层特征r4和t4经过金字塔池化PPM处理得到具有全局感受野的全局特征G,G=PPMr4,t4;步骤S3、使用模态共有特征提取模块SFA对r1~r4和t1~t4进行模态关联处理,并基于注意力将高层的语义信息传递到低层特征中,从而得到具有多模态共有信息的共有区域特征F,F包括F1~F4;高层的语义信息传递的具体方法为:首先,将两个模态的骨干特征分别均等化分成四份,利用Sigmoid将高层特征生成注意力掩码,分别作用于两种模态的四份特征,如下: 其中Split为Pytorch框架集成的函数,ConvBlock是卷积、归一化和Relu激活函数集成的卷积块,σ代表激活函数,代表高层特征,Mask代表由高层信息产生的权重掩码;然后,根据channel-wise乘法将Mask分别作用于fr和ft; 最后,将f′r和f′t进行通道合并,并通过卷积核大小为3×3卷积块将对其特征上下文进行细化,最后得到融合有层级信息和上下文信息的Fr和Ft; 其中,[*]是通道连接操作;使用Fr、Ft和G提炼共有区域特征,具体方法为,在Fr、Ft上应用两个通道注意力对每个通道的权重进行划分;F′r=CAFr=Fr×σAvgPoolFr+MaxPoolFrF′t=CAFt=Ft×σAvgPoolFt+MaxPoolFt其中,CA为通道注意力函数,AvgPooling和Maxpooling分别表示平均池化和最大池化;然后利用输出通道为128的卷积块对G进行处理,最后与F′r和F′t进行融合实现共有区域特征的提取;F=F′r+F′t+ConvBlockG最终得到四个层级的共有区域特征Fk,其中k=1,2,3,4;步骤S4、使用特征擦除模块FEB分别对r1~r4和t1~t4进行模态差异性处理,从而得到具有各自模态独有信息的特征R和T,R包括R1~R4和T包括T1~T4;态擦除模块的具体操作为:首先,使用余弦相似度在每一层计算各自的共有特征和骨干特征的相关性图;Mi,j=Fi,jTwT×f,1≤i≤H,1≤j≤W其中i,j代表每个像素点的位置,f代表了骨干特征r或者骨干特征t,w反映f到F的空间映射参数,H是特征Fi,j的长的像素数,W是特征Fi,j的宽的像素数;然后,在相关性图M上采用滑动窗口的方式生成一个二进制掩码用于擦除操作,将其定义为最后,利用二进制掩码对共有特征F进行擦除,得到具有模态独有信息的特征R和T; 步骤S5、在多模态解码器中,先聚合差异性特征,得到多模态下的差异性特征然后使用注意力机制引导独有信息和共有信息进行相互优化和融合,得到显著图S,S包括S1~S4,S4为最终显著图;使用注意力机制的具体方法为:对于高层特征首先将低分辨率的高层特征上采样成与该层特征尺寸相同的大小,然后使用输出通道为128的卷积块将差异性特征共有特征F和高层特征修改成相同通道数,随后使用注意力机制自动获取聚合后特征的每个通道数的重要性; 由于有四层特征,得到四层预测的特征,分别经过一个单通道的卷积层,再利用Sigmoid函数将分值约束到0~1之间,分别记为S1~S4,S4为最终显著图;步骤S6、通过损失函数监督训练网络得到最终预测图;给定显著图S={Si|i={1,...,N}和真实数据Y={Yi|i={1,...,N},其中,N是显著图的总像素数;二元交叉熵BCE损失函数为: 平滑度损失函数为: Dice损失函数为: 在训练过程中,使用二元交叉熵BCE损失函数进行监督,将其应用于最终预测的显著图;L1=LS4,Y;然后对上下文全局特征G进行监督;将其上采样到与Y相同的分辨率,经过卷积和激活函数以此计算一个粗略的显著图Sg;L2=LSg,Y;最后分别使用平滑度损失和Dice损失对最终的预测S进行监督;L3=LsS4,YL4=LdiceS4,Y所以,最终的损失函数为:Lfinal=L1+L2+L3+L4。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人安徽大学,其通讯地址为:230601 安徽省合肥市经开区九龙路111号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。