买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开了一种草图辅助的残缺点云补全方法及系统，该方法是使用辅助草图作为引导，将扫描获取的点云数据和交互绘制的草图相结合，在局部潜在空间中有效地结合点云与草图两种模态的信息，输出几何信息更为完整的三维点云数据。本发明选择使用弱监督设置，辅助草图通过在完整的点云上使用可微渲染器来测量图像空间中的保真度，来为训练的过程提供监督信号，并通过草图信息和残缺点云的信息实现多模态的信息融合，能够生成更可靠的、更符合用户意图的完整点云。

主权项：1.一种草图辅助的残缺点云补全方法，其特征在于，包括以下步骤：1在已有残缺的点云的基础上，获取用户的草图输入，交互补充残缺点云的轮廓信息；2将残缺点云和草图分别输入到不同模态的编码器中，提取两种模态的编码特征，即草图特征和点云特征；3将步骤2获得的两种模态的编码特征进行融合；具体为：将由编码器编码得到的草图特征和点云特征通过交叉注意力机制和自注意机制进行融；所述通过交叉注意力机制和自注意机制进行融合，具体为：通过注意力机制用于寻找点云区域和草图区域特征之间的对应关系，从两种模态中收集到局部信息，将其融合起来，所述注意力机制的架构的注意力层中使用的是Transformer的多头注意力机制；3.1在使用交叉注意力机制的过程中，将残缺点云特征投影形成查询向量，将草图特征投影形成关键向量和值向量，有三个向量之后，注意力机制对通过特征提取器提取到相关联区域的残缺点云特征和草图特征进行融合，实现不同模态输入之间的特征融合；通过获取的点云特征和权重向量的乘积得到点云的查询向量，通过获取的草图特征和权重向量的乘积分别得到草图的关键向量和值向量；在已有三个向量的基础上再使用softmax归一化，将特征进行融合；3.2框架中使用交叉注意力融合之后，加入自注意力层，实现对具有全局接受域的特征进行排列不变变换，以便对草图中未正确采集的数据进行校正；自注意力层的原理与3.1中相同，只是输入的特征不同，自注意层采用相同的混合特征进行Q、K、V向量的运算；3.3框架使用交叉注意力层和自注意层相结合的方式来完成整个特征的融合，实现两种模态数据的特征融合；在整个融合模块的末尾，使用一个特殊的交叉注意力层，合并了融合模块末尾和开头的信息，使得高级特征交叉参与低级特征的融合；4学习重建一个完整点云，使用同时保持全局和局部特征的解码器对融合之后的特征进行解码，完成点云补全。

全文数据：

权利要求：

百度查询： 浙江大学 一种草图辅助的残缺点云补全方法及系统