买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜广东海洋大学申请的专利多模态融合水下环境智能感知系统及其方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119146975B 。

龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411648378.2，技术领域涉及：G01C21/20；该发明授权多模态融合水下环境智能感知系统及其方法是由刘畅;李培超;吴剑豪设计研发完成，并于2024-11-18向国家知识产权局提交的专利申请。

本多模态融合水下环境智能感知系统及其方法在说明书摘要公布了：本发明公开了多模态融合水下环境智能感知系统及其方法，涉及多模态数据处理技术领域，通过声呐装置检测探测器前方是否存在障碍物，若存在，收集前方的深度图像数据，获得本体数据，并基于深度图像数据训练其中障碍物的移动预测模型，基于移动预测模型预测获得障碍物的移动数据，基于障碍物的本体数据和移动数据以及探测器当前移动路径，判断是否会发生碰撞，若会发生碰撞，基于判断为发生碰撞的时间，判断障碍物是否需要绕行，若需要绕行，基于本体数据和移动数据以及探测器的目标地点和当前位置，规划出新的移动路径；提升水下探测器的智能化水平和任务适应能力，保证作业的顺利完成和设备的运行安全。

本发明授权多模态融合水下环境智能感知系统及其方法在权利要求书中公布了：1.多模态融合水下环境智能感知方法，其特征在于，包括以下步骤：步骤一：通过声呐装置检测探测器前方是否存在障碍物，若存在，转至步骤二，否则重复执行步骤一；步骤二：收集前方的深度图像数据，并基于深度图像数据获得本体数据，并基于深度图像数据训练其中障碍物的移动预测模型，基于移动预测模型预测获得障碍物的移动数据；步骤三：基于障碍物的本体数据和移动数据以及探测器当前移动路径，判断是否会发生碰撞，若会发生碰撞，转至步骤四；否则，循环步骤二至步骤三；步骤四：基于判断为发生碰撞的时间，判断障碍物是否需要绕行，若需要绕行，执行步骤五和步骤六；否则，执行步骤六；步骤五：基于本体数据和移动数据以及探测器的目标地点和当前位置，规划出新的移动路径；步骤六：循环执行步骤二至步骤六，直至到达目标地点；所述基于深度图像数据获得本体数据包括以下步骤：步骤21：对深度图像数据进行图像预处理；步骤22：使用深度图像分割算法对深度图像数据中的障碍物进行分割，并将分割获得的障碍物深度图像的深度值重投影到三维空间，获得障碍物三维点云；步骤23：使用训练完成的3D形状分类模型对点云进行分类，输出障碍物类别和尺寸估计值，作为本体数据；所述基于深度图像数据训练其中障碍物的移动预测模型，基于移动预测模型预测获得障碍物的移动数据包括以下步骤：步骤31：使用视觉跟踪系统，记录障碍物的在预设的监测时长内的实际运动轨迹；步骤32：在监测时长内，使用深度相机同步采集障碍物在不同时刻的深度图像数据组成时序深度数据；步骤33：将障碍物的实际运动轨迹与对应时序深度数据关联，作为训练数据集；步骤34：使用3D卷积神经网络作为特征提取器，将时序深度数据输入3D卷积神经网络中，所述3D卷积神经网络最终输出为时空特征图序列；步骤35：使用卷积LSTM或基于注意力的序列预测模型作为轨迹预测模型，将时空特征图序列作为轨迹预测模型的输入，在每个时间步，轨迹预测模型根据历史的时空特征图序列输出下一时刻的轨迹状态，所述轨迹状态包括位置和速度，累积多个时间步的预测，则输出未来T时间步的运动轨迹；T为预设的预测时长；步骤36：将监测时长内，障碍物后续的速度和位置作为预测目标，将轨迹状态和预测目标的欧式距离作为预测误差，每个时间步的预测误差的平均值作为损失函数，对轨迹预测模型进行训练，获得训练完成的移动预测模型；步骤37：基于障碍物最新的实际运动轨迹，作为3D卷积神经网络的输入，由序列预测模型输出未来T时刻的轨迹状态组成障碍物的移动数据；所述基于障碍物的本体数据和移动数据以及探测器当前移动路径，判断是否会发生碰撞包括以下步骤：步骤41：将障碍物的长度、宽度和高度分别标记为Zl、Zw和Zh；将障碍物在未来T时间步内的位置序列和速度序列分别标记为{p_objt，p_objt+1，...，p_objt+T}和{v_objt，v_objt+1，...，v_objt+T}；步骤42：将探测器的半径尺寸标记为r，当前位置标记为p_c、朝向方向标记为dir，移动路径对应时间序列的位置序列标记为{p_0，p_1，...，p_n}和速度序列标记为{v_0，v_1，...，v_n}；n为从当前位置按照移动路径到达目标地点所需要的时长；步骤43：对于每个时间步k，k=0，1...，n：根据探测器在第k个时间步的位置p_ck和速度vk，计算其在未来T时间步的运动轨迹：{p_expk，p_expk+1，...，p_expk+T}；对障碍物位置和速度序列中的每个时间步i，i=0，...，T，执行：获取障碍物在k+i时刻的位置p_objk+i和速度v_objk+i；构建障碍物在k+i时刻的三维包围盒，所述三维包围盒以p_objk+i为中心，长宽高分别为Zl+vx，Zw+vy，Zh+vz，其中vx，vy，vz为v_objt+i在x，y和z轴三个维度的分量，x，y和z轴为空间直角坐标系的三个坐标轴；判断探测器在k+i时刻的位置p_expk+i是否在三维包围盒内；如果在三维包围盒内，判定会发生碰撞，将时间步k+i标记为k0；否则继续判断下一时间步；步骤44：若所有的时间步k均未检查出会发生碰撞，则判断为不会发生碰撞；所述基于本体数据和移动数据以及探测器的目标地点和当前位置，规划出新的移动路径包括以下步骤：步骤51：构造探测器的位置优化变量集合S={p_0，p_1，...，p_m}，p_j=x_j，y_j，z_j，j=1，2，3...，m；m为预设的抵达目标地点的最长时长；步骤52：构建优化目标函数；步骤53：构建约束条件集合：步骤54：以优化目标函数为优化目标，以约束条件集合作为约束，形式化为一个约束优化问题，通过使用优化算法对该约束优化问题求解，获得优化变量集合S的解集合，根据解集合中每一单位时间探测器的位置，构成新的移动路径。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广东海洋大学，其通讯地址为：524088 广东省湛江市麻章区海大路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。