买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华东交通大学

摘要：本发明为基于RT‑DETR‑Sat的道路巡检机器人障碍检测方法及系统，所述检测方法包括以下步骤：获取道路巡检过程中巡检区域的道路图像，并对道路图像逐帧进行标注，将标注后的障碍物图像分为训练集和测试集；构建RT‑DETR‑Sat目标检测模型，RT‑DETR‑Sat目标检测模型包括主干网络ResNeSat、混合编码器和带有辅助预测头的解码器，图片输入主干网络ResNeSat中，获得多层不同尺度的特征图，利用混合编码器处理多尺度特征，将混合编码器的输出连接IoU感知查询选择，从中选择固定数量的特征作为解码器的初始目标查询，解码器生成边界框和置信度得分，最后将模型的输出转化为概率分布，得到最终的预测结果，用于道路巡检机器人障碍检测。其兼顾较高的实时性和较高的检测精度。

主权项：1.一种基于RT-DETR-Sat的道路巡检机器人障碍检测方法，其特征在于，所述检测方法包括以下步骤：获取道路巡检过程中巡检区域的道路图像，并对道路图像逐帧进行标注，将标注后的障碍物图像分为训练集和测试集；构建RT-DETR-Sat目标检测模型，所述RT-DETR-Sat目标检测模型包括主干网络ResNeSat、混合编码器和带有辅助预测头的解码器，图片输入主干网络ResNeSat中，进行特征提取获得多层不同尺度的特征图，然后利用混合编码器处理多尺度特征，将混合编码器的输出连接IoU感知查询选择，从中选择固定数量的特征作为解码器的初始目标查询，然后解码器生成边界框和置信度得分，最后将模型的输出转化为概率分布，从而得到最终的预测结果，进而判断是否有障碍物；首先道路图片作为主干网络ResNeSat的输入，首先经过7*7的卷积核的卷积层，卷积层的输出通道数为64，然后经过3*3的池化层，经过池化作用之后的数据进入四种卷积组，这四种卷积组由两个1*1的卷积核与一个3*3的卷积核组成，这些卷积组会重复不同的次数，第一种卷积组重复3次，输出的通道数为256，第二种卷积组重复4次，输出的通道数为512，第三种卷积组重复6次，输出的通道数为1024，第四种卷积组重复3次，输出的通道数为2048；之后经过自注意力机制处理获得步长分别为8、16、32的输出特征，分别记为S3、S4以及S5，S3、S4以及S5作为混合编码器的输入特征；混合编码器包括尺度内特征交互模块AIFI和多尺度特征融合模块CCFM，输入特征S5作为尺度内特征交互模块AIFI的输入，经过尺度内交互得到F5；S3、S4、F5作为多尺度特征融合模块CCFM的输入，进行多尺度特征融合，多尺度特征融合的具体处理过程是：F5输入特征经过1*1的卷积、IN归一化处理和激活函数ReLU计算和S4输入特征分别经过1*1的卷积处理后再进行元素相加的特征拼接，获得第一次融合结果；第一次融合结果再经过1*1的卷积、IN归一化处理和激活函数处理后再与S3输入特征分别经过1*1的卷积处理后再进行元素相加的特征拼接，获得第二次融合结果；第一次融合结果的输出经过激活函数处理后与S4输入特征所在支路的1*1的卷积连接；第二次融合结果经过3*3的卷积、IN归一化处理和激活函数处理后与第一次融合结果中F5输入特征所在支路的1*1的卷积连接；第一次融合结果同时经过3*3的卷积、IN归一化处理和激活函数处理后与F5输入特征所在支路的激活函数处理结果分别经过1*1的卷积处理后再进行元素相加的特征拼接获得第三次融合结果；第一次融合结果、第二次融合结果和第三次融合结果进行特征拼接获得混合编码器的输出；所述解码器包括依次连接的分组查询注意力机制、残差连接和归一化处理、分组查询注意力机制、残差连接和归一化处理、多层感知机、残差连接和归一化处理；所述解码器的输出作为前馈神经网络的输入，所述前馈神经网络包括线性组合、BN归一化处理和softmax激活函数；利用训练集训练RT-DETR-Sat目标检测模型，之后用于道路巡检机器人障碍检测。

全文数据：

权利要求：

百度查询： 华东交通大学 基于RT-DETR-Sat的道路巡检机器人障碍检测方法及系统