申请/专利权人：北京航空航天大学江西研究院

申请日：2022-05-18

公开（公告）日：2024-07-05

公开（公告）号：CN114998556B

主分类号：G06T19/00

分类号：G06T19/00

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2022.09.20#实质审查的生效;2022.09.02#公开

摘要：本发明是一种面向混合现实飞行仿真系统的虚实融合方法，属于飞行仿真技术领域。本发明方法包括：离线阶段制作虚拟驾驶舱模型并选取定位点，形成固定位置结构，对应在实体驾驶舱上设置追踪器或选取视觉特征，与定位点建立对应关系；在线阶段实时获取实体驾驶舱上追踪器和视觉特征的三维坐标，进行追踪器定位和视觉特征定位，对两种定位结果经卡尔曼滤波融合，得到虚拟驾驶舱更精确的注册位置；通过与双目相机扫描驾驶舱周围环境的点云形成空间定位模板，实现跨会话重复加载，建立虚实驾驶舱的联系。本发明计算相对轻量，对实体驾驶舱周围环境依赖小，避免了大量额外图像传输、特征提取和渲染工作，不会出现画面割裂情况，能带来更好的沉浸体验。

主权项：1.一种面向混合现实飞行仿真系统的虚实融合方法，其特征在于，包括如下步骤：步骤1：离线阶段，预先制作虚拟驾驶舱模型，在驾驶舱模型上选取定位点；首先，在虚拟驾驶舱模型上分别为追踪器和视觉特征选取任意不共线的数量为n的定位点，且各定位点间保持相对位置不变，定位点均以三维坐标表示，n≥4；然后，在实体驾驶舱上的对应定位点处设置追踪器或选取视觉特征；所选取的定位点形成固定位置结构的注册模板，将各定位点与设置的追踪器或选取的视觉特征建立对应关系；步骤2：在线阶段，利用VR设备获取追踪器位置，通过双目立体相机识别视觉特征，实时获取实体驾驶舱上追踪器以及视觉特征的三维坐标，对驾驶舱模型的注册位置进行定位；其中：分别以VR设备和双目立体相机的初始化位置为基准建立基准坐标系和相机坐标系；定位驾驶舱模型在基准坐标系下的注册位置；预先将利用相机获取的视觉特征定位点的坐标作为输出值，将利用追踪器估计出的视觉特征定位点的坐标作为输入值，求解用于数据补偿的拟合曲线多项式；其中，获取追踪器位置，对驾驶舱模型注册位置进行定位，包括：实时获取追踪器的三维坐标，计算坐标集合的质心坐标c1；获取当前驾驶舱模型上的追踪器定位点在基准坐标系下的三维坐标，并计算坐标集合的质心坐标c2；将质心坐标c2与c1匹配，求取驾驶舱模型上各追踪器定位点坐标与对应实际追踪器位置坐标间的欧氏距离的和最小时，所对应的驾驶舱模型上各追踪器定位点坐标，根据所获取的驾驶舱模型上追踪器定位点坐标计算驾驶舱模型到达注册位置的旋转矩阵和位移矩阵；在利用双目立体相机定位时，将获得的视觉特征坐标利用所述拟合曲线多项式进行数据补偿，然后利用补偿后的三维坐标进行驾驶舱模型注册位置定位；其中，获取视觉特征，对驾驶舱模型注册位置进行定位，包括：双目立体相机实时影像，从影像的每帧图像中识别视觉特征；将图像中识别的视觉特征的二维坐标，先使用PnP方法转换为相机坐标系下的三维坐标，再根据相机坐标系到基准坐标系的变换关系，转换为在基准坐标系下的三维坐标；对转换得到的视觉特征三维坐标利用所述拟合曲线多项式进行补偿，获得补偿后的实际视觉特征三维坐标；将驾驶舱模型上的视觉特征定位点的三维坐标与对应的实际视觉特征三维坐标按欧氏距离和最小进行拟合，获得驾驶舱模型的视觉特征定位点的三维坐标，然后根据所获取的驾驶舱模型上视觉特征定位点的三维坐标计算驾驶舱模型到达注册位置的旋转矩阵和位移矩阵将根据追踪器与视觉特征获取的驾驶舱模型注册位置通过卡尔曼滤波融合，获得驾驶舱模型最终的注册位置；其中，通过卡尔曼滤波融合获得驾驶舱模型最终的注册位置，包括：（1）建立驾驶舱模型位置状态方程，其中xk为当前k时刻驾驶舱模型位置状态，xk-1为上一时刻驾驶舱模型位置状态，所述位置状态由驾驶舱模型上的各定位点的三维坐标构成；S为状态转移矩阵；ωk-1为噪声；（2）建立使用追踪器定位的观测方程，其中zk为k时刻使用追踪器定位的驾驶舱模型的注册位置，O为变换矩阵，υk为追踪器组合测量噪声；（3）根据zk更新驾驶舱模型的位置状态为，其中Kk为卡尔曼增益，为k时刻的驾驶舱模型位置状态的先验状态估计值；（4）建立使用视觉特征定位的观测方程，其中zk′为k时刻使用视觉特征定位的驾驶舱模型的注册位置；υk′为视觉测量噪声；（5）根据zk′更新驾驶舱模型的位置状态；步骤3：预先设置驾驶舱周围环境的空间定位模板，将驾驶舱模型注册位置保存在空间定位模板中，当加载驾驶舱模型时，根据保存位置将驾驶舱模型注册在虚拟飞行环境中。

全文数据：

权利要求：

百度查询： 北京航空航天大学江西研究院 面向混合现实飞行仿真系统的虚实融合方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD