买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：吉林大学

摘要：本发明提供一种基于多层注意力机制的汽车零件点云多尺度分割方法，采用一部激光雷达、两部深度相机、一部彩色相机，方法包括：采集待检车辆不同来源的完整车身点云构建数据集、对采集得到的完整车身点云进行预处理、对滤波后的车身点云进行多尺度特征提取、对车身零件点云进行多尺度特征融合、对车身零件点云进行最大池化操作和LBRD层处理、以车身零件点云代表性点集为高斯基元建立相应高斯分布、使用高斯溅射的方法对代表性点集进行上采样、对车身点云上的所有点进行正确分割并输出结果等步骤。本发明能够更加智能地处理汽车点云数据，更好地捕捉关键特征信息，从而对点云技术在汽车检测领域的广泛应用和汽车尺寸参数的精确测量产生有益效果。

主权项：1.一种基于多层注意力机制的汽车零件点云多尺度分割方法，其特征在于：采用至少一部激光雷达、两部深度相机和一部彩色相机，将深度相机对向放置在检测线两侧的拍摄位置，将激光雷达放置在检测线正前方，彩色相机放置在检测线一侧的拍摄位置；方法包括以下步骤：第一步：采集待检车辆不同来源的完整车身点云构建数据集彩色相机获取待检车辆的完整车身点云SCX，深度相机获取待检车辆的完整车身点云SDX，激光雷达获取待检车辆的完整车身点云SLX，X是车身点云中的点；第二步：对采集得到的完整车身点云进行预处理对第一步获取得到的完整的待检车辆的车身点云进行降噪处理，得到干净和适合后续处理的激光雷达点云数据、彩色相机点云数据和深度相机点云数据；第三步：对滤波后的车身点云进行多尺度特征提取将第二步得到的车身点云、和输入进特征提取网络内，所述的特征提取网络包含有三个不同尺度的特征提取模块，三个特征提取模块分别同时接收多源点云、和并进行车身零部件特征提取，在每个特征提取模块中，包括两个关键操作：基于超点算法及重要性采样的车身点云下采样和基于改进注意力机制的特征提取；（1）基于超点算法及重要性采样的车身点云下采样滤波后激光雷达获取的车身点云，对使用超像素分割算法将这些点分成m个超点，这些超点代表了车身点云中的局部特征，并作为下采样的初始候选点；对于每个超点Pi，根据其重要性对超点进行更新，定义损失函数LP为： ；其中，n是车身点云中点的数量，Xj是第j个点，ωij是点Xj对超点Pi的权重，dPiXj表示点Xj到超点Pi的欧氏距离，使用梯度下降法调整超点位置来使损失函数最小；完成超点的更新后，根据最终的超点位置和它们k邻域内的点来提取出一个代表性的点集合；（2）基于改进注意力机制的特征提取利用改进的注意力机制提取和学习上一步得到的代表性点集中车身零件点云的局部语义特征和他们之间的全局特征联系；首先，对下采样后的代表性点集使用图卷积神经网络得到当前特征提取模块所有采样点与对应零件分类之间的全局特征向量Fglobal；接着，将代表性点集输入进局部注意力特征提取单元和局部特征提取单元分别学习代表性点集内局部点云在不同尺度下的局部注意力特征和局部特征；车身零件点云局部注意力特征提取单元通过在学习过程中加入注意力机制，公式如下： ；其中，是车身点云的代表性点集，Fatt是注意力函数，A是计算得到的注意力权重，g是特征映射函数，fa-local是由注意力权重加权得到的车身零件点云局部注意力特征表示；车身零件点云局部特征提取单元通过在车身零件点云的局部区域使用非线性卷积操作，捕获车身点云数据中局部区域的特征信息，公式如下： ；其中，、是不同的单层非线性卷积，是多层非线性卷积，flocal是车身零件点云局部特征表示；将车身零件点云局部注意力特征表示fa-local和车身零件点云局部特征表示flocal相加得到车身零件点云局部特征向量Flocal：；其中，表示求和运算；车身零件点云局部特征向量Flocal与全局特征向量Fglobal在特征维度进行拼接，得到激光雷达采集的车身零件点云联合特征表示FuL，同理得深度相机采集的车身零件点云联合特征表示FuD以及彩色相机采集的车身零件点云联合特征表示FuC；第四步：对车身零件点云进行多尺度特征融合将第三步提取到的三个尺度下的车身零件点云联合特征表示分别输出并送入特征融合模块，对于三种来源的车身零件点云联合特征表示FuL、FuD、FuC，首先使用一个偏移网络来计算出在特征空间上的位置偏移，位置偏移OL通过以下公式表示：；其中，OffsetNet是偏移网络，同理得深度相机采集的车身零件点云位置偏移OD以及彩色相机采集的车身零件点云位置偏移OC；使用得到的位置偏移OL、OD、OC来对特征FuL、FuD、FuC进行位置调整，得到经过位置偏移网络调整后的联合特征，调整过程表示为： ；接下来，利用调整后的特征之间的相似性来计算不同尺度之间车身零件点云的语义相似性，特征通过内积操作计算相似性的公式为：；其中，ScoreLD表示激光雷达采集尺度下车身零件点云特征与深度相机采集尺度下车身零件点云特征之间的相似性得分，T表示转置运算；通过Softmax运算，根据语义相似性计算得到每个尺度特征的权重如下，雷达采集的车身点云尺度特征对深度相机采集的车身点云尺度特征的权重： ；其中，αLD为雷达采集的车身点云尺度特征对深度相机采集的车身点云尺度特征的注意力权重，e是自然常数，ScoreLD表示雷达采集尺度下车身零件点云特征与深度相机采集尺度下车身零件点云特征之间的相似性得分，ScoreLC表示雷达采集尺度下车身零件点云特征与彩色相机采集尺度下车身零件点云特征之间的相似性得分；通过重新分配权重，将不同尺度的车身零件点云特征进行线性组合，从而得到重新分配后的车身零件点云特征表示：；其中，是激光雷达采集尺度下车身零件点云特征经过重新分配后的表示，αLD、αLC分别为激光雷达采集的车身点云尺度特征对深度相机、彩色相机采集的车身点云尺度特征的注意力权重，是经过位置偏移网络调整后的联合特征，同理得深度相机采集尺度下车身零件点云特征经过重新分配后的表示以及深度相机采集尺度下车身零件点云特征经过重新分配后的表示；将重新分配后的三个尺度下的车身零件点云特征表示通过求和得到最终的特征融合表示为：；其中，是车身零件点云的融合后特征表示；第五步：对车身零件点云进行最大池化操作和LBRD层处理首先将第四步得到的车身零件点云的融合后特征表示输入进池化层进行最大池化操作来提取出代表性的特征；再将最大池化操作提取出的特征输入进LBRD层，通过线性变换，将最大池化后的车身零件点云特征映射到高维空间，线性变换的权重矩阵为W，线性变换的操作表示为：；其中，是线性变换后的车身零件点云特征，是最大池化操作提取出的车身零件点云特征，b是偏置项；得到线性变换后的车身零件点云特征之后，将其传递给批标准化层，然后应用ReLU激活函数： ；其中，BatchNorm表示批标准化操作，Relu是激活函数，是批标准化后输出的车身零件点云特征，是经过Relu激活函数输出的车身零件点云特征；使用Dropout操作，以概率p随机丢弃部分神经元的输出，得到最终输出特征表示：；其中，Dropout表示随机丢弃操作，是最终的车身零件点云的特征表示；使用one-hot编码对每类车身零件点云特征进行编码，得到输入进网络的车身零件点云代表性点集所属的语义标签即零件类别；第六步：以车身零件点云代表性点集为高斯基元建立相应高斯分布以车身零件点云代表性点集中的点为3D高斯基元，对于每个3D高斯基元，连同其k邻域内的点表示为一个矩阵M，则矩阵M表示为：；其中，xj、yj和zj分别代表第j个邻域点的坐标，k是代表性点的k邻域内点的总数，然后，协方差矩阵Ω通过以下公式计算得出：；其中，k是代表性点的k邻域内点的总数，T是转置运算；对协方差矩阵Ω进行特征值分解，选择特征值最小的特征向量对应的方向作为该点的法向量，并和第五步计算的每个代表性点分配的语义标签对应，从而为每个点赋予几何信息；则每个高斯分布Gp表示为：；其中，p是车身零件点云代表性点集中的点，Ω是协方差矩阵，T是转置运算，e是自然常数；第七步：使用高斯溅射的方法对代表性点集进行上采样当以代表性点集中的点为3D高斯基元，建立对应3D高斯分布后，使用高斯溅射的方法开始上采样操作，扩充高斯基元领域内的点数量，形成完整的车身点云数据，随着新的数据点的出现，不断更新每个高斯分布的参数；根据高斯基元邻域内新增点与初始高斯分布的距离来进行加权平均，确保高斯分布的中心位置随着新数据点的引入而适当调整，均值更新如下： ；其中，是更新后的均值，ωj是加权平均后得到的权重值，e是自然常数，dispi,pj是点pi和pj之间的距离；在上采样期间使用高斯语义跟踪方法，连续跟踪每个高斯分布，以适应其不断变化的零件类型和点数量；在上采样开始前，模块记录所有高斯基元的类别和位置，在采样过程中更新这些基元，以反映每次上采样过程中高斯基元的当前状态，采用高斯基元初始状态与当前状态之间的MSE损失来确保上采样不会偏离各自的基元太大，损失函数φMSE定义如下： ；其中，N是高斯基元的总数，Ginitp是高斯基元初始状态的表示，Gcurrp是高斯基元当前状态的表示，p是高斯基元中的点；第八步：对车身点云上的所有点进行正确分割并输出结果：在每次上采样操作结束后，使用多层感知机对每个点所属的零件类别进行推理，选择具有最高概率的类别作为每个点的分割结果，由此，得到完整车身点云的分割结果，其上每个点都被正确分割到了相应的零件类别。

全文数据：

权利要求：

百度查询： 吉林大学 基于多层注意力机制的汽车零件点云多尺度分割方法