买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门大学

摘要：本发明任务的本质在于超点特征与文本特征的跨模态对齐，由此提出了文本驱动的定位模块（TLM）；同时，设计了规则引导的弱监督（RWS）策略以精确地监督目标实例的定位以及挑选最合适的单词特征来获取最终目标掩码。在此，本发明公开了一种基于空间感知网络的三维指向性目标分割方法，提出用于端到端三维指向性目标分割的规则导向的空间感知网络（RG‑SAN），RG‑SAN由TLM和RWS策略这两个主要组件组成：由TLM定位所有实例，并迭代地改进它们的位置，以确保位置精度的持续提高；RWS策略则利用依存树规则，精确地指导核心实例的定位。这种集中的监督显著提高了对文本中空间歧义的处理能力。

主权项：1.一种基于空间感知网络的三维指向性目标分割方法，其特征在于提出用于端到端三维指向性目标分割的规则导向的空间感知网络，RG-SAN包括文本驱动的定位模块和规则导向的弱监督策略，并具体执行以下步骤：步骤1、特征提取对于给定的点云数据，先用一个分割器分割出超点，用平均池化得到超点位置，然后采用预训练的稀疏3DU-Net和超点池化层获取超点特征；对于目标对象描述文本，采用预训练的MPNet来提取单词特征，其中下标表示层数；步骤2、文本驱动的定位模块对于第0层，首先将投影至与同一维度得到增强的超点特征，并且通过依存驱动的交互来增强第0层的单词特征得到增强的单词特征；再采用交叉注意机制通过和计算内每个实体的空间概率分布；然后利用来更新，并得到每个单词的初始位置；对于第层，根据单词在第层的文本位置和超点位置，获取单词的傅里叶绝对位置编码用以第层单词特征的自注意力操作，获取隐式相对位置编码用以超点特征和单词特征的交叉注意力操作；最后通过残差连接以及归一化得到下一轮输入的单词特征，同时经过一个全连接层后得到单词的位置偏移量，并与相加得到下一轮输入的单词位置；步骤3、规则导向的弱监督策略利用文本的依存关系以及预设的规则定位到目标对象描述文本中的目标单词，训练时用仅有的目标位置信息监督该目标单词对应的预测位置；同时，通过用该目标单词对应的单词特征与做矩阵乘法，获取目标单词预测的响应图及其对应的实例掩码；步骤4、训练损失给定真实二进制掩码，首先通过超点平均池化得到相应的超点掩码；最终的训练损失函数考虑了四个部分——在最终的响应图上应用二元交叉熵损失函数和Dice损失函数分别得到和，对规则导向的弱监督策略下的目标单词定位应用L1损失函数得到，并添加辅助得分损失对掩码质量的得分预测进行监督；所述步骤1包括：步骤1.1给定一个具有个点的点云数据，然后采用预训练的稀疏3DU-Net来提取维的点级特征，其中表示实数空间，表示辅助特征的维度；然后对进行过分割，得到个超点分割结果；最后，将和直接送入超点池化层，得到超点特征；步骤1.2给定一个包含个单词的目标对象描述文本，采用预训练的MPNet来提取维的单词特征；所述步骤2包括：步骤2.1在第0层，首先将投影至与同一维度得到增强的超点特征，并且通过依存驱动的交互来增强得到增强的单词特征，其计算公式表示为： ；其中表示依存驱动的交互操作，和均表示可学习参数，表示和的特征维度；之后，采用交叉注意机制来估计内每个实体的空间概率分布： ；其中和均表示可学习参数，上标表示矩阵转置；然后，利用来更新，并得到每个单词的初始位置，其计算公式表示为： ； ；其中表示可学习参数；步骤2.2在第层，使用绝对位置编码操作获得傅里叶绝对位置编码，其计算公式表示为： ；其中表示绝对位置编码操作；将绝对位置编码用于第层单词特征的自注意力操作： ；其中表示自注意力操作；表示经过自注意力更新的单词特征；量化计算出的相对位置，并使用它在位置编码表中查找相应的条目，其计算公式表示为： ； ； ；其中，表示用以离散化的超参数，表示向下取整操作，表示位置编码表的长度，用以将离散值偏移到正数，表示相对位置编码，、和分别表示在xyz三个维度上在中的索引；相对位置编码与交叉注意中的特征相互作用，作为注意权重中的位置偏差，其计算公式表示为： ； ； ；其中表示注意力权重的位置偏差，表示矩阵的第行第列，表示第行，表示交叉注意力中的query，表示交叉注意力中的key，表示注意力权重，表示可学习参数；最后，使用多层感知器从中预测位置偏移量，并计算下一轮输入的单词位置，其计算公式表示为： ； ；其中表示多层感知器。

全文数据：

权利要求：

百度查询： 厦门大学 基于空间感知网络的三维指向性目标分割方法