买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学;浙江商汤科技开发有限公司

摘要：本发明提出了一种基于3D高斯光栅化快速高精度稠密重建方法和系统，属于场景重建领域。利用待重建场景的多视角RGB图像初始化场景中的3D高斯椭球参数；将3D高斯椭球压缩为高斯平面，渲染得到RGB图像的高斯光栅化图像、以及RGB图像的几何信息；联合基于曝光补偿的图像重建约束、自适应采样的单视图几何约束、多视图光度约束和多视图几何约束，对渲染结果联合优化，更新3D高斯椭球参数，直至满足优化要求；在联合优化过程中，采用固定频率的高斯剪切方法优化高斯平面数量；利用优化后的结果重建得到稠密场景。本发明渲染得到的结果是无偏的，可以同场景中的实际表面无偏贴合，实现高精度重建的同时提高了重建速度。

主权项：1.一种基于3D高斯光栅化快速高精度稠密重建方法，其特征在于，包括：利用待重建场景的多视角RGB图像初始化场景中的3D高斯椭球参数；将3D高斯椭球压缩为高斯平面，根据高斯平面渲染得到RGB图像的高斯光栅化图像、以及RGB图像的几何信息；所述的RGB图像的几何信息包括高斯平面的法向图、平面到相机距离图和深度图；联合基于曝光补偿的图像重建约束、自适应采样的单视图几何约束、基于光度一致性的多视图光度约束和基于几何投影误差的多视图几何约束，对渲染得到的RGB图像的高斯光栅化图像、以及RGB图像的几何信息进行联合优化，更新3D高斯椭球参数，直至满足优化要求；并且，在联合优化过程中，采用固定频率的高斯剪切方法优化高斯平面数量；所述的基于曝光补偿的图像重建约束，包括：获取原始RGB图像的曝光系数；利用曝光系数矫正高斯光栅化图像；联合矫正后的高斯光栅化图像与原始RGB图像的全局光度一致损失、矫正前的高斯光栅化渲染图像与原始RGB图像的结构相似性损失，得到基于曝光补偿的图像重建约束损失项；所述的自适应采样的单视图几何约束，包括：设计固定采样模板，预测RGB图像中每一个像素点的邻近采样点相对于固定采样模板的采样偏移，结合像素点位置、固定采样模板相对于像素点的偏移、以及邻近采样点相对于固定采样模板的采样偏移，得到每一个像素点的邻近采样点位置；计算邻近采样点所在的局部平面法向，约束RGB图像中每一个像素点的局部平面法向与法向图中的法向一致，得到自适应采样的单视图几何约束损失项；所述的多视图光度约束和多视图几何约束，包括：获取当前视角和邻近视角的RGB图像对，计算RGB图像对中存在对应关系的像素点从当前视角到邻近视角的单应性矩阵，构建多视图光度约束损失项： 其中，Lmvrgb表示多视图光度约束损失项，V表示当前视角和邻近视角的RGB图像对中存在对应关系的像素点集合，pr表示像素点集合中包含的当前视角的RGB图像的一个像素点，Ir.、In.分别表示在当前视角和邻近视角的RGB图像中以像素点为中心截取图像块，NCC.表示图像块的光度一致性，Hrn表示从当前视角到邻近视角的单应性矩阵；计算RGB图像对中存在对应关系的像素点从邻近视角到当前视角的单应性矩阵，结合从当前视角到邻近视角的单应性矩阵和从邻近视角到当前视角的单应性矩阵计算几何投影误差，构建多视图几何约束损失项： 其中，Lmvgeo表示多视图几何约束损失项，Hnr表示从邻近视角到当前视角的单应性矩阵，表示像素点pr的几何投影误差，‖.‖表示范数；利用优化后的RGB图像的几何信息重建得到稠密场景。

全文数据：

权利要求：

百度查询： 浙江大学 浙江商汤科技开发有限公司 一种基于3D高斯光栅化快速高精度稠密重建方法和系统