买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京字跳网络技术有限公司
摘要:本申请实施例提供一种神经辐射场的重建方法、装置、设置、介质和程序,在对各像素点进行投射时,根据相机位姿采用光锥投射形成圆锥体的光锥,并在像素点的光锥上确定M个采样球,根据采样球的信息,对采样球进行多个平面的多级纹理采样,形成采样球的特征向量,多层感知机模型对像素点的各采样球的特征向量和像素点的视角方向进行处理,得到像素点的各采样球的密度信息和颜色信息,对相机位姿对应的渲染图像的各像素点的各采样球的密度信息和颜色信息进行体渲染得到渲染图像。根据样本图像和渲染图像计算神经辐射场的损失,根据损失更新神经辐射场的参数。将像素点建模为有面积的圆更接近真实的物理成像过程,从而能够提高重建的视觉质量。
主权项:1.一种神经辐射场的重建方法,其特征在于,包括:获取样本图像序列中各样本图像的相机位姿;使用所述样本图像的相机位姿对神经辐射场进行训练,所述神经辐射场的输出为所述相机位姿对应的渲染图像的各像素点的密度信息和颜色信息,其中,所述神经辐射场包括光锥投射模块、多级纹理采样模型和多层感知机模型;所述光锥投射模块用于根据所述相机位姿对所述像素点进行光锥投射形成圆锥体的光锥,并在所述像素点的光锥上确定M个采样球,M为大于或等于2的整数;所述多级纹理采样模型用于根据所述采样球的信息,对所述采样球进行多个平面的多级纹理采样,形成所述采样球的特征向量;所述多层感知机模型用于对所述像素点的各采样球的特征向量和所述像素点的视角方向进行处理,得到所述像素点的各采样球的密度信息和颜色信息,所述像素点的视角方向是根据所述相机位姿确定的;根据所述渲染图像的各像素点的密度信息和颜色信息进行体渲染,得到所述渲染图像;根据所述样本图像和所述渲染图像计算所述神经辐射场的损失,根据所述损失更新所述神经辐射场的参数。
全文数据:
权利要求:
百度查询: 北京字跳网络技术有限公司 神经辐射场的重建方法、装置、设置、介质和程序
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。