买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：吉林大学

摘要：一种基于跨模态融合的水下去遮挡方法。本发明属于水下机器视觉的技术领域，具体而言，涉及事件和RGB两种数据模态深度融合方法，以及基于事件和RGB数据的水下场景去遮挡重建方法。本发明提供了一种基于跨模态融合的水下去遮挡方法，解决了现有技术中在水下去遮挡时都是先将事件序列与RGB图像各自的特征先进行编码后再融合，此种处理方式容易导致模型计算量和硬件要求翻倍，无法适配于资源受限的水下环境的问题。本发明所述方法将事件序列与RGB图像直接进行融合，然后再进行编码解码，在前融合阶段进行数据融合，减少了系统对计算量的要求，使网络更加轻量化。

主权项：1.一种基于跨模态融合的水下去遮挡方法，其特征在于，所述方法包括如下步骤：S1、利用事件相机采集水下场景对应的水下事件序列、遮挡RGB帧以及未遮挡RGB帧，并构建水下事件序列—遮挡RGB帧—中间视角未遮挡RGB帧为标准的基准数据集，基准数据集中包括训练集和测试集；使用训练集对步骤S2—S5进行训练；S2、对水下场景对应的水下事件序列采用体素网格方式进行分段化表征，并将表征后的结果作为目标事件张量图；S3、利用自主设计的时序多尺度编码网络对目标事件张量图和其对应的遮挡RGB帧进行融合特征编码；S4、利用基于特征金字塔的多级Transformer编解码器对步骤S3得到的多尺度融合特征进行深度特征抽取；S5、利用基于特征金字塔的多级Transformer编解码器进行解码，得到中间视角水下重建图像；S6、利用步骤S1中的测试集对步骤S2-S4中的网络进行测试，直到解码所得的中间视角水下重建图质量符合要求，否则重复步骤S1—S5；S7、将中间视角水下重建图像与其他视角遮挡RGB帧一同送入到自主改进的U型编解码网络中进行融合，最终输出所有视角的水下重建图像；所述中间视角具体为在所有视角中与遮挡物所在平面垂直的视角；所述自主设计的时序多尺度编码网络由三个分支网络结合起来构成，所述三个分支网络存在共同的输入和输出；其中，第一个分支网络从输入到输出依次包括3个相同的特征提取单元和一个多层感知机；第二个分支网络从输入到输出依次包括2个相同的特征提取单元和一个多层感知机；第三个分支网络从输入到输出依次包括一个特征提取单元和一个多层感知机；所述特征提取单元依次包括3D卷积网络层、批量归一化层和激活层；所述自主改进的U型编解码网络通过在解码和编码阶段使用深度可分离卷积构造跳跃连接，在编码器和解码器之间加入通道注意力加权，对不同视角所在的通道信息进行交互。

全文数据：

权利要求：

百度查询： 吉林大学 一种基于跨模态融合的水下去遮挡方法