买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开了一种基于法线偏转网络的室内场景高保真重建方法，实现了从已知位姿的图像集中恢复精确室内3D表面。本发明方法在基于SDF值的体渲染框架下构建了一种法线偏转网络，该网络存储场景法线和法线先验之间的角度偏差。本发明建立包括偏转网络的室内表面体渲染重建模型，利用体渲染技术合成光线的渲染颜色、渲染深度、渲染法线和渲染偏转四元数。根据本发明提出的法线偏转网络学到的偏差，实现自适应地利用不同特点的样本先验并对偏差大的区域进行针对优化，解决了传统的多视角立体视觉框架以及普通利用先验的隐式重建方法存在的问题。对大量室内环境进行的实验表明，本发明方法在恢复室内稠密表面方面达到了先进的性能。

主权项：1.一种基于法线偏转网络的室内场景高保真重建方法，其特征在于，包括如下步骤：步骤1：预处理待重建场景已知位姿和相机内参的多视角图像集中所有RGB图像，获取每个图像的单目深度和单目法线线索；步骤2：构建室内表面体渲染重建模型，所述室内表面体渲染重建模型包括位置编码器、哈希编码器、场景几何网络、颜色网络和法线偏转网络；将待重建场景的多视角图像对应的位姿和相机内参输入所述室内表面体渲染重建模型中，室内表面体渲染重建模型实施基于SDF值的表面体渲染优化流程；利用体渲染技术合成场景中采样的光线的渲染颜色、渲染深度、渲染法线和渲染偏转四元数；步骤3：使用渲染偏转四元数偏转渲染法线，通过将偏转后的渲染法线和先验法线对齐学习场景几何和法线先验蕴含的先验几何之间的偏差；计算偏转后的渲染法线和偏转前渲染法线的角度差，构建自适应偏转角度的先验一致性损失动态调整不同特点区域样本先验的利用程度；步骤4：根据步骤3得到的偏转后的渲染法线和偏转前渲染法线的角度差，首先对每个RGB图像构建一个逐像素的偏转角度图，在训练过程中，根据所述角度差动态维护所述偏转角度图；实现多采样高幅度偏转角度暗示的高频区域，少采样低幅度偏转角度暗示的低纹理区域；再利用所述偏转角度图查询训练过程中采样光线的偏转角度，结合所述采样光线的偏转角度和无偏渲染转换函数进行小或细结构的无偏渲染；再利用所述训练过程中计算的偏转角度加权光度一致性损失；步骤5：构造室内表面体渲染重建模型的总损失函数；对室内表面体渲染重建模型进行训练：训练完成后，提取场景几何网络的零水平集就是最终重建出来的室内场景稠密三维表面。

全文数据：

权利要求：

百度查询： 浙江大学 基于法线偏转网络的室内场景高保真重建方法