买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:桂林电子科技大学
摘要:本发明公开了一种基于无参影像的三维重建与渲染方法,输入多视角RGBD影像数据流,通过在公开数据集上训练光流估计网络得到的预训练模型对每一帧影像进行光流估计,根据光流阈值选择关键帧并使用关键帧集来构建关键帧图;通过共视关系在关键帧之间建立共视矩阵,在共视矩阵中的关键帧对建立边,对关键帧图中形成边的关键帧使用阻尼高斯‑牛顿法迭代优化关键帧的位姿;在关键帧图中动态选择K个共视关键帧作为动态滑动窗口,通过滑动窗口的关键帧信息进行高斯的动态插入与剪枝,使用高斯泼溅渲染关键帧的颜色、深度、可见性轮廓信息,将其与关键帧的真实颜色和深度信息求损失以优化3D高斯的场景表征。本发明解决了传统三维重建技术重建场景的质量差,训练和渲染时间长的问题,可以广泛应用于三维重建的相关应用之中。
主权项:1.一种基于无参影像的三维重建与渲染方法,其特征在于,包括以下步骤:对输入的RGBD影像数据流使用预训练的光流估计网络模型进行光流估计;将光流大于设定阈值的影像作为关键帧,对RGBD影像数据流的关键帧集构建关键帧图;根据关键帧图构建以关键帧对的平均光流为共视度值的共视矩阵并在长为历史关键帧长度,宽为局部关键帧长度的共视矩阵之内建立边;使用反向投影过滤掉共视度较低的边,选择合适边的关键帧对使用阻尼高斯-牛顿法优化当前影像的位姿;对每一帧关键帧影像利用优化的位姿将二维像素点投影到世界空间,基于3D高斯场景表征使用高斯泼溅渲染可见性轮廓对每一帧的关键帧影像进行高斯的插入与剪枝;通过在帧图中动态选择K个关键帧影像作为动态滑动窗口,利用高斯泼溅循环迭代渲染颜色和深度信息来优化3D高斯场景表征。
全文数据:
权利要求:
百度查询: 桂林电子科技大学 一种基于无参影像的三维重建与渲染方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。