买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川大学

摘要：本发明涉及图像处理技术领域，提出了一种具有细粒度恢复能力的单目深度估计系统及方法，该系统包括：图像预处理模块、视觉特征提取模块、自损失体构建模块、细粒度查询模块和深度估计模块。本发明通过使用带有残差连接的全卷积U‑Net来提取具有高频细节的即时视觉特征，使用Transformer获取即时视觉特征补丁的Embedding结果，将基于深度特征映射差值构建的损失体转换为逐像素概率映射，并对即时视觉特征做加权求和得到待估计特征，最后将通过细粒度查询获得的相对距离表示与待估计特征共同送入多层感知机构得到最终的深度估计结果，具有更好的泛化性及更少的真值依赖，且对场景细粒度特征具有更好的学习能力及恢复能力。

主权项：1.一种具有细粒度恢复能力的单目深度估计系统，其特征在于，所述系统，包括：图像预处理模块，所述图像预处理模块被配置为提取目标图像的特征图，并利用所述特征图对目标图像进行修复获得修复图像；视觉特征提取模块，所述视觉特征提取模块被配置为提取所述修复图像的图像特征，并将所述图像特征转换为即时特征；自损失体构建模块，所述自损失体构建模块被配置为将预设连续时间的修复图像构建为图像序列，利用所述图像序列中的帧图像定义有序平面组，并基于所述有序平面组将其他帧图像的深度特征映射扭曲到第一帧图像的视点，获得扭曲过程中所有帧图像产生的深度特征映射差值，并将所述深度特征映射差值作为自损失体；细粒度查询模块，所述细粒度查询模块被配置为将所述即时特征分割为若干个补丁，并对所述补丁的嵌入表示进行逐像素的相对距离查询，获得相对距离表示；深度估计模块，所述深度估计模块被配置为基于所述自损失体与所述相对距离表示，对修复图像进行深度估计，获得深度估计结果；所述图像预处理模块，具体包括：特征图提取单元，所述特征图提取单元被配置为提取目标图像的浅层特征，利用若干个可变并行融合模型对所述浅层特征进行处理，提取获得所述浅层特征的进一步特征，并基于每个可变并行融合模型提取的进一步特征，生成目标图像的特征图；图像修复单元，所述图像修复单元被配置为将目标图像的特征图做上采样后输入多层感知机对目标图像进行修复获得修复图像；所述特征图提取单元，具体包括：浅层特征提取子单元，所述浅层特征提取子单元被配置为提取目标图像的浅层特征；其中，提取目标图像的浅层特征，具体为： ；其中，表示对目标图像进行浅层特征提取，为一个3×3的卷积层，表示所提取的浅层特征；进一步特征提取子单元，所述进一步特征提取子单元被配置为利用若干个可变并行融合模型对所述浅层特征进行处理，提取获得所述浅层特征的进一步特征；其中，提取所述浅层特征的进一步特征，具体为： ；其中，表示第n个可变并行融合模型，为提取出的特征；特征图生成子单元，所述特征图生成子单元被配置为对每个可变并行融合模型输出的进一步特征先做1×1的卷积处理，再做3×3的卷积处理，对所有卷积处理结果做加法并拍平得到第一特征，将做3×3的卷积处理并拍平得到第二特征，将第一特征、第二特征与缩放拍平后的浅层特征共同组成一个通道数为3的特征图；所述深度估计模块，具体包括：概率映射转换单元，所述概率映射转换单元被配置为对所述自损失体的深度特征映射差值应用逐像素的归一化指数函数进行处理，转换为逐像素概率映射；待估计特征生成单元，所述待估计特征生成单元被配置为利用逐像素概率映射完成对即时特征的像素加权求和，得到待估计特征；深度估计单元，所述深度估计单元被配置为将所述相对距离表示与待估计特征做特征融合后送入多层感知机对修复图像进行深度估计，得到最终的深度估计结果。

全文数据：

权利要求：

百度查询： 四川大学 一种具有细粒度恢复能力的单目深度估计系统及方法