买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京大学深圳研究生院

摘要：本发明公开了一种RGB‑D图像显著性目标检测方法、装置、设备及计算机可读存储介质，所述RGB‑D图像显著性目标检测方法通过采用注意力机制，而非直接使用与融合分层RGB模态特征与分层深度模态特征的方式，避免了模态特征中无用或冗余信息的引入，提升了显著性目标检测的性能；通过设计跨模态指导策略来进行多阶段跨模态特征融合，使得能够充分利用跨模态多特征之间的有效性与互补性，在降低质量不佳的深度图像影响的同时，形成更准确的跨模态显著特征表达；通过设计一种双向融合结构，将所述多层级跨模态融合特征进行多尺度融合，能够有效地聚合多层级中的高低层级特征，进一步提升了显著性目标检测性能以及检测算法的鲁棒性。

主权项：1.一种RGB-D图像显著性目标检测方法，其特征在于，所述RGB-D图像包括待检测的RGB图像，以及与所述RGB图像相配准的深度图像，所述RGB-D图像显著性目标检测方法包括：获取所述RGB图像的分层RGB模态特征，以及所述深度图像的分层深度模态特征；基于注意力机制与跨模态指导策略，将所述分层RGB模态特征与所述分层深度模态特征进行多阶段跨模态特征融合，得到所述分层RGB模态特征与所述分层深度模态特征的多层级跨模态融合特征；基于双向融合结构将所述多层级跨模态融合特征进行双向融合，得到不同尺度的分层显著融合特征，并对所述分层显著融合特征进行多尺度融合，以得到与所述RGB图像以及所述深度图像对应的显著目标图像；所述基于注意力机制与跨模态指导策略，将所述分层RGB模态特征与所述分层深度模态特征进行多阶段跨模态特征融合，得到所述分层RGB模态特征与所述分层深度模态特征的多层级跨模态融合特征的步骤包括：在第一阶段，分别使用空间注意力机制对所述分层RGB模态特征与所述分层深度模态特征进行特征筛选，得到所述分层RGB模态特征的RGB显著特征响应以及所述分层深度模态特征的深度显著特征响应；基于跨模态指导策略，利用所述RGB显著特征响应指导所述分层深度模态特征进行特征重筛选，以得到RGB深度显著特征响应；在第二阶段，将所述RGB显著特征响应、深度显著特征响应与RGB深度显著特征响应进行对抗组合，得到多个对抗特征，以将多个所述对抗特征融合为所述分层RGB模态特征与所述分层深度模态特征的多层级跨模态融合特征。

全文数据：

权利要求：

百度查询： 北京大学深圳研究生院 RGB-D图像显著性目标检测方法、装置、设备及存储介质