买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华中科技大学

摘要：本发明属于点云异常检测领域，并具体公开了一种考虑提示学习的零样本点云异常检测方法及系统，其包括步骤：获取待检测物体的三维点云，通过多视图投影将三维点云投影到二维平面上，得到多个深度图像；通过图像编码器提取深度图像的特征，并根据投影关系将深度图像的特征聚合到点云的点中，得到点云中各点的特征；设置两个文本提示分别描述正常或异常状态，并在文本提示中加入可学习参数；根据文本提示，通过文本编码器提取得到文本特征；根据点云中点的特征与文本特征的余弦相似度，得到点云中点的异常分数，根据异常分数判断点云中各点的异常情况。本发明克服了点云视觉语言模型的空缺，将图像视觉语言模型拓展到了零样本点云异常检测任务中。

主权项：1.一种考虑提示学习的零样本点云异常检测方法，其特征在于，包括如下步骤：获取待检测物体的三维点云，通过多视图投影将三维点云投影到二维平面上，得到多个深度图像；通过图像编码器提取深度图像的特征，并根据投影关系将深度图像的特征聚合到点云的点中，得到点云中各点的特征；所述图像编码器包括Nl个transformer层，从中选出m个关键层{f1,f2,…,fm}；在transformer层中加入可学习参数，各transformer层的输出为： 其中，Lj表示第j个transformer层，Bj表示加在第j个transformer层中的可学习参数，Wj表示第j个transformer层的输出；根据投影关系将深度图像的特征聚合到点云的点中，包括：对于第k张深度图像，其输入图像编码器后，第l个关键层的输出为将的通道展开成图像得到特征图；进而基于特征图，根据投影关系得到点云中第i个点在第k张深度图像上第l个关键层的点特征将所有深度图像上的点特征进行聚合，得到点云中每个点的特征，其中第i个点的特征为： 其中，N为深度图像总数；设置两个文本提示分别描述正常或异常状态，并在文本提示中加入可学习参数；根据文本提示，通过文本编码器提取得到文本特征；文本提示中的可学习参数包括U和S，其中，U为两个文本提示中共用的可学习参数；S是专用的可学习参数，其包括用在正常状态文本提示的可学习参数Sn，以及用在异常状态文本提示的可学习参数Sa；根据点云中点的特征与文本特征的余弦相似度，得到点云中点的异常分数，根据异常分数判断点云中各点的异常情况；包括如下步骤：S41、计算点云整体的异常分数，若点云整体的异常分数超过预设阈值，则进行步骤S42进一步计算点云中点的异常分数，判断具体异常点；否则，认为该三维点云无异常；点云整体的异常分数ξ的计算方法为： 其中，N为深度图像总数，softmax表示激活函数；为对于第k张深度图像，图像编码器最后一个transformer层的classtoken；G为文本编码器提取得到的文本特征；S42、根据点的特征与文本特征的余弦相似度，计算点的异常分数；点云中第i个点的异常分数Ai计算方式如下： 分别获取点云中各点的异常分数后，根据点的异常分数是否超过预设阈值判断该点是否异常，实现点云异常检测。

全文数据：

权利要求：

百度查询： 华中科技大学 一种考虑提示学习的零样本点云异常检测方法及系统