申请/专利权人：山东大学

申请日：2024-04-23

公开（公告）日：2024-07-05

公开（公告）号：CN118298038A

主分类号：G06T9/00

分类号：G06T9/00;G06V10/80;G06N3/0455;G06N3/0464;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.07.23#实质审查的生效;2024.07.05#公开

摘要：本发明涉及一种基于目标区域感知的多模态稀疏特征压缩方法及系统，包括：前端目标检测；待编码稀疏特征编码；拓展几何信息生成；拓展几何信息编码；稀疏特征解码；拓展几何信息解码；目标区域的重建；后端目标检测。本发明不仅利用了多头注意力机制实现了目标区域的感知以更好的辅助多模态特征的去冗余，提供很好的压缩效果，而且还实现了目标区域点云的大致重建，使得目标区域点云的形状遮挡等情况在重建结果上得以体现。与现有的先压缩后分析的方法相比，本发明可以做到在传输更小的数据量的情况下，获得更高的性能，并且还可以大致重建出目标区域的点云。

主权项：1.一种基于目标区域感知的多模态稀疏特征压缩方法，其特征在于，包括：前端目标检测，包括：输入图像经过深度补全，得到深度补全点云；输入雷达点云与深度补全点云经过融合，得到多模态融合点云；多模态融合点云经过体素化，得到多模态融合体素特征；多模态融合体素特征经过特征提取，得到待编码稀疏特征；待编码稀疏特征编码，包括：待编码稀疏特征经过稀疏最大池化，得到初步空间去冗余稀疏特征；初步空间去冗余稀疏特征经过通道去冗余，得到通道去冗余稀疏特征；通道去冗余稀疏特征经过基于多头注意力机制的目标区域感知，得到目标区域感知稀疏特征；目标区域感知稀疏特征经过进一步空间去冗余，得到去冗余后的稀疏特征；去冗余后的稀疏特征经过G-PCC几何编码器与CABAC熵编码器，得到稀疏特征编码后码流；拓展几何信息生成，包括：去冗余后的稀疏特征的几何信息经过方块上采样，得到方块上采样几何信息；方块上采样几何信息和多模态融合体素经过拓展几何信息生成器，得到拓展几何信息；拓展几何信息编码，包括：对拓展几何信息去冗余，得到去冗余后的拓展几何信息；去冗余后的拓展几何信息经过CABAC熵编码器，得到去冗余后拓展几何信息编码后码流；稀疏特征解码，包括：编码后码流经过G-PCC几何解码器与CABAC解码器，得到解码端去冗余后的稀疏特征；去冗余后的稀疏特征经过通道上采样，得到用于后端检测网络的稀疏特征，实现稀疏特征的解码；拓展几何信息解码，包括：去冗余后拓展几何信息码流经过CABAC解码器，得到解码端去冗余后拓展几何信息；去冗余后拓展几何信息经过其编码时操作的逆过程，得到解码端拓展几何信息；对去冗余后特征执行通道上采样，得到通道上采样后的稀疏特征；对通道上采样后的稀疏特征执行不同尺度的转置卷积，获得最终输出的多尺度特征；目标区域的重建，包括：用于后端目标检测网络的稀疏特征的几何信息经过方块上采样，得到解码端方块稀疏特征；将解码端拓展几何信息作用于解码端方块稀疏特征得到点云上采样输入点云；将点云上采样输入点云输入到至PU-Flow点云上采样方法，得到上采样点云，实现目标区域的重建；后端目标检测，包括：用于后端检测网络的稀疏特征经过目标检测算法的后端目标检测网络，得到目标检测的最终结果。

全文数据：

权利要求：

百度查询： 山东大学 一种基于目标区域感知的多模态稀疏特征压缩方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD