申请/专利权人：长江龙新媒体有限公司

申请日：2024-03-07

公开（公告）日：2024-07-05

公开（公告）号：CN117857769B

主分类号：H04N13/268

分类号：H04N13/268;H04N13/271;H04N13/282;H04N13/296;H04N13/243;H04N23/90

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2024.04.26#实质审查的生效;2024.04.09#公开

摘要：本发明涉及多摄像机捕获与实时自由视角视频渲染技术领域，尤其涉及自适应多摄像机捕获与实时自由视角视频渲染方法及系统，使用计算几何算法布置多摄像机机位，捕获二维视频数据并对捕获的二维视频数据进行时间同步；根据二维视频数据计算深度图，并根据深度图构建场景的3D模型；根据场景3D模型进行实时自由视角视频渲染。使用计算几何算法来确定摄像机布置，最大化场景覆盖并减少无效的拍摄，提高了整体的系统效率和成本效益。通过计算和校正每个摄像机的时间偏差，确保了从多个角度捕捉到的动态场景数据在时间上的一致性。结合像素强度、纹理、运动等多种信息进行深度估计，提高了深度图的准确性，增强了模型对各种场景的适应性。

主权项：1.自适应多摄像机捕获与实时自由视角视频渲染方法，其特征在于：包括，使用自适应多摄像机算法布置多摄像机机位，捕获二维视频数据并对捕获的二维视频数据进行时间同步；根据二维视频数据计算深度图，并根据深度图构建场景的3D模型；根据场景3D模型进行实时自由视角视频渲染；所述自适应多摄像机算法表示为，pi＝Ki[Ri∣ti]P其中，[Ri∣ti]表示从世界坐标系到摄像机坐标系的转换矩阵，Ri为从世界坐标系到摄像机坐标系的旋转矩阵，ti为从世界坐标系到摄像机坐标系的平移向量，Ki为第i个相机的内参矩阵，pi是点P在第i个摄像机成像平面上的二维投影坐标，P是场景中的一个三维点；若pi的坐标未超过成像平面的尺寸范围，则认为摄像机覆盖点P，统计覆盖点P的摄像机数量占总摄像机数量的比例R计算为， 其中，Nc表示覆盖点P的摄像机数量，N是摄像机总数；若R≥第一阈值时，则认为摄像机的覆盖率充足，无需调整摄像机布置，若R第一阈值时，则认为摄像机的覆盖率不充足，重新调整摄像机布置以增加覆盖率；所述时间同步包括， 其中，是第i个摄像机在第n帧的时间戳，tn是第n帧的全局平均时间戳，i是摄像机的索引，i＝1,2,…,N，n是帧的索引；计算每个摄像机相对全局平均时间戳的偏差， 其中，为第i个摄像机在第n帧的时间偏差；计算同步误差度量， 其中，E为第n帧的同步误差度量；若En≤θE，则认为第n帧的数据是同步的，若EnθE，则认为第n帧的数据不同步，重新进行时间同步；所述二维视频数据包括，像素强度、图像纹理、运动信息、视频时间、光照和阴影信息、视角信息、相机参数；根据二维视频数据计算深度图表示为，A＝F{DPi；θ∣Pi∈M}其中，pi是点P在第i个摄像机成像平面上的二维投影坐标，θ是模型参数，D是深度估计网络，F是融合函数，M是多视角图像的集合，A是二维视频数据的深度图，DP；θ是深度图估计模型；根据深度图，从每个摄像机视角重建出P的估计位置Pnew，对于每个点P在不同摄像机视角下的投影误差表示为，eiP＝||pi-Ki[Ri∣ti]Pnew||2其中，eiP表示点P在不同摄像机视角下的投影误差；综合所有摄像机视角的投影误差，定义整体一致性度量， 其中，N是摄像机的数量，是所有被评估的点的集合，C为一致性度量；若C小于等于预设阈值θC时，则认为深度图与原始图像数据几何一致，则构建场景的3D模型，若C大于预设阈值θC时，则重新调整深度估计模型；所述重新调整深度估计模型包括，Anew＝DP；θnewθnew＝argminθLA,P；θ+τRθ其中，L是损失函数，R是正则化项，τ是平衡系数，LA,P；θ是损失函数，衡量预测深度图与实际深度之间的差异；argminθ表示找到一组参数θ，使LA,P；θ+τRθ的值最小，θnew表示调整后的参数；所述构建场景的3D模型包括将深度图转换为网络模型，通过将每个像素的深度值与图像平面上的位置结合，转换为三维空间中的坐标点， 其中，K是摄像机的内参矩阵，u,v是图像平面上的像素坐标，δ是对应于像素u,v的深度值，是三维空间中的坐标点，由图像坐标u,v和深度值δ转换得到；为三维模型添加纹理，提高视觉真实感,纹理映射通过计算图像坐标到模型表面映射实现表示为，fTu,v→X,Y,Z其中，Tu,v纹理图像中的坐标，表示图像上的纹理位置，f为纹理映射函数，将纹理坐标映射到三维模型上。

全文数据：

权利要求：

百度查询： 长江龙新媒体有限公司 自适应多摄像机捕获与实时自由视角视频渲染方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD