买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学

摘要：本公开提出基于跨域交互的全天时场景自监督深度估计方法及系统，涉及深度估计技术领域。方法包括：将待估计全天时图像输入至深度估计模型，得到深度估计结果；其中，深度估计模型中，跨域交互模块用于将全天时图像样本解耦为日间私有特征和共享特征，夜间私有特征和共享特征；利用正交损失约束两个私有特征的互补性，基于共享特征交换私有特征重建图像；跨域耦合投影模块用于将两个共享特征分别解码为深度图，基于全天时图像样本、深度图、位姿矩阵，采用场景损失监督训练，得到自监督单目深度估计结果。充分考虑昼夜图像中包含的共享信息，并深化夜间图像的纹理信息，提高了深度估计模型对全天时场景进行深度估计的适应能力及结果准确性。

主权项：1.一种基于跨域交互的全天时场景自监督深度估计方法，其特征在于，包括：获取待估计全天时图像；所述全天时图像包括日间图像或夜间图像；将待估计全天时图像输入至训练好的深度估计模型，得到深度估计结果；其中，深度估计模型包括跨域交互模块和跨域耦合投影模块；所述跨域交互模块的训练过程为，将全天时图像样本解耦为日间私有特征、日间共享特征、夜间私有特征、夜间共享特征；所述全天时图像样本包括日间图像样本和夜间图像样本；利用私有域正交损失对所述两个私有特征的互补性进行约束，并基于私有特征和共享特征重建图像样本；所述跨域耦合投影模块的训练过程为，将所述两个共享特征分别解码为深度图，基于重建图像样本、深度图、位姿矩阵，采用场景损失监督训练，得到自监督单目深度估计结果；所述将全天时图像样本解耦为日间私有特征、日间共享特征、夜间私有特征、夜间共享特征，具体包括：将日间图像样本分别输入第一私有编码器和第一共享编码器，得到解耦的日间私有特征和日间共享特征；将夜间图像样本分别输入第二私有编码器和第二共享编码器，得到解耦的夜间私有特征和夜间共享特征；利用直接特征正交损失和Gram矩阵正交损失约束所述解耦过程；其中，所述共享特征包含对深度估计任务有正向增益的结构化信息；所述私有特征包含影响日间域和夜间域深度估计网络通用性的光照信息；所述直接特征正交损失具体为： 其中，、、和表示采用卷积以降低特征通道数，分别得到简化的日间私有特征、简化的夜间私有特征、简化的日间共享特征，简化夜间共享特征；是将多维特征转换为一维特征的操作；表示内积运算；所述Gram矩阵正交损失具体为： 其中，为日间共享特征的Gram矩阵，为日间私有特征的Gram矩阵，为夜间共享特征的Gram矩阵，为夜间私有特征的Gram矩阵；所述利用私有域正交损失对所述两个私有特征的互补性进行约束，具体包括： ； ； ；其中，所述私有域正交损失包括私有域直接特征正交损失和私有域Gram矩阵正交损失；所述基于私有特征和共享特征重建图像样本，包括分别基于私有特征、交换共享特征重建图像样本，具体过程为：基于日间共享特征和夜间私有特征进行重构，得到交互重构夜间图像样本；基于夜间共享特征和日间私有特征进行重构，得到交互重构日间图像样本；利用交叉重建一致性损失约束所述得到交互重构日间图像样本和得到交互重构夜间图像样本的重构过程，具体为： +++ 其中，为交叉重建一致性损失，，N为和的像素数，x表示第x像素；表示第t帧、第x像素的交互重构日间图像样本，表示第t帧、第x像素的原始日间图像样本，表示第t帧、第x像素的交互重构夜间图像样本，表示第t帧、第x像素的原始夜间图像样本；为第一重建解码器，为第二重建解码器；基于在共享信息的基础上组合任何一个域的私有特征，都能重建出该私有域风格的图像，通过基于私有特征、交换共享特征重建图像样本实现跨域对特征解耦进行限制，以充分利用信息，进一步限制域分离网络的解空间，从而更好地将特征解耦；所述基于私有特征和共享特征重建图像样本，还包括：将日间私有特征和日间共享特征输入第一重建解码器得到重建日间图像样本；将夜间私有特征和夜间共享特征输入第二重建解码器得到重建夜间图像样本；利用重建损失约束所述得到重建日间图像样本和得到重建夜间图像样本的重建过程；具体为： 其中，，N为和的像素数，x表示第x像素；表示第t帧、第x像素的重建日间图像样本，表示第t帧、第x像素的原始日间图像样本，表示第t帧、第x像素的重建夜间图像样本，表示第t帧、第x像素的原始夜间图像样本；通过重建日间图像样本和重建夜间图像样本，保证私有特征子空间和共享特征子空间是互补的，即保证特征不丢失；所述将所述两个共享特征分别解码为深度图，基于重建图像样本、深度图、位姿矩阵，采用场景损失监督训练，得到自监督单目深度估计结果，具体过程为：将日间共享特征输入第一深度解码器，得到日间深度图；将夜间共享特征输入第二深度解码器，得到夜间深度图；将日间图像样本输入位姿估计网络中，得到日间位姿矩阵；基于交互重构日间图像样本或重建日间图像样本、日间深度图和日间位姿矩阵进行深度估计；或，基于交互重构夜间图像样本或重建夜间图像样本、夜间深度图和日间位姿矩阵进行深度估计；利用光度一致性损失和边缘感知平滑损失完成自监督深度估计具体为： 其中，K表示相机内参，是源帧和目标帧之间的坐标投影操作；表示交互重构日间图像样本或重建日间图像样本的源帧与目标帧之间的关系，表示交互重构夜间图像样本或重建夜间图像样本的源帧与目标帧之间的关系，表示交互重构日间图像样本或重建日间图像样本的的源帧，表示交互重构夜间图像样本或重建夜间图像样本的源帧；表示日间光度一致性损失，表示夜间光度一致性损失，为超参数，被设置为0.85；表示日间边缘感知平滑损失，表示夜间边缘感知平滑损失；昼夜场景损失分别被表示为和。

全文数据：

权利要求：

百度查询： 山东大学 基于跨域交互的全天时场景自监督深度估计方法及系统