买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中北大学

摘要：本发明公开了一种基于SLAM和人群异常行为识别的安防巡检系统和方法，属于自动化安全巡视技术领域。针对人群异常行为发生时社区监管无法第一时间响应，只能事后走访调查，无法及时预警危险等问题，机器人通过激光雷达返回周围环境点云数据判断是否存在障碍物，完善地图信息；在地图中标定巡检区域与目标点，搜索地图网络中机器人当前位姿与目标点之间的最短路径，同时根据激光雷达捕获到的障碍物信息进行局部路径规划，从而避开人体或路障等临时障碍物。在执行巡检任务的同时，利用深度相机进行图像检测和信息提取，当检测到图像范围内出现异常行为时，提醒人群需要救助或者预警，并把事件信息返回至社区管理部门。

主权项：1.一种基于SLAM和人群异常行为识别的安防巡检系统的巡检方法，其特征在于，所述安防巡检系统包括上层系统和下层系统；所述的上层系统包括激光建图单元、自主导航单元和人群异常行为检测单元；所述的激光建图单元以单线激光雷达为硬件基础，Gmapping算法为软件基础完成建图功能；所述的自主导航单元采用A*和DWA融合算法完成自主导航功能；所述的人群异常行为检测单元以RGB-D深度相机为硬件基础，以ST-GCN算法为深度学习算法模型完成人群异常行为检测；所述的下层系统包括车身控制单元、通信预警单元；所述的车身控制单元以六轴加速度传感器、履带、电源以及电机为基础完成机器人控制；通信预警单元采用六麦克风语音阵列和云服务器完成语音识别和通信预警；所述的上层系统与下层系统通过串口通信连接，上层系统控制下层系统，并扩充下层系统的运算资源；所述上层控制系统采用英伟达Jetsonnano为核心，安装有ROS系统，以Python3.8、Pytorch1.13.0和mmcv2.1为深度学习算法运行环境；激光建图单元依托ROS系统和改进的Gmapping算法、以2D单线激光雷达为硬件基础，使用RBPF算法完成2D栅格地图构建，采用粒子滤波算法对机器人位姿进行准确估计；自主导航单元采用A*算法搜索二维栅格地图网络中机器人当前位姿与目标点之间的最短路径，同时采用DWA算法根据移动机器人当前的位置状态和速度状态，计算机器人在此速度情况下移动一定时间内的轨迹，从而有效的避开障碍物；人群异常行为检测单元使用改进的YOLOv7算法对RGB-D深度相机采集到的视频进行采集和片段截取，利用改进的SimCC提取出视频中行人的关键点，结合ST-GCN算法对目标人员行为进行判断，并根据空间信息确定人员是否出现跌倒或者打架行为；所述下层控制系统采用STM32F407作为主控芯片，采用串口通信控制车身控制单元和通信预警单元；车身包括车头、车体和底盘；车头安装RGB-D深度相机和单线激光雷达，车体安装通信模块以及上下层控制电路板；底盘的内部安装电源模块、电机驱动板、解码器以及履带；所述巡检方法包括以下工作步骤：步骤1：将安防巡检机器人置于工作区域的地面上，打开安装在底盘上电源模块的总电源，开启车身上Jetsonnano电路板开关，进入安防巡检机器人运行模式；步骤2：在ROS系统中选择地图自主建模模式，设置安防巡检机器人的移动速度；机器人开始移动，通过激光雷达返回周围环境的点云数据判断周围是否存在障碍物，并逐步完善地图信息；在经过运动畸变去除处理后，提取出激光雷达扫描获取的2D栅格地图，并将其保存在“map”路径下；步骤3：在2D栅格地图中标定巡检区域与目标点，机器人采用A*算法搜索二维栅格地图网络中机器人当前位姿与目标点之间的最短路径，同时根据激光雷达捕获到的障碍物信息，采用DWA算法进行局部路径规划，从而避开临时障碍物；步骤4：机器人在执行巡检任务的同时，集成在英伟达Jetsonnano电路板上集成的机器学习视觉模块通过RGB-D深度相机进行图像检测和信息提取；采用改进的YOLOv7算法检测行人和物品，利用改进的SimCC算法提取出相机中采集到的人体关键点，然后采用ST-GCN算法融合多帧图像信息，结合时空卷积判断人体姿态；步骤5：当检测到图像范围内出现人群异常行为时，上层系统会将行为信息数据传递给底层控制系统，此时安防巡检机器人会移动至目标行人或人群附近，提醒人群这里需要救助或者预警人群不要发生冲突，并把事件信息通过通信模块返回至社区管理部门；所述步骤2的具体过程如下：步骤2.1：安防巡检机器人开始运行后，使用单线激光雷达360度扫描周围环境，当激光雷达按照所设定的扫描频率工作时，激光雷达每隔一个扫描周期完成一次360度环境的扫描，并将所扫描的360度的环境数据作为完整的一帧数据；步骤2.2：在激光雷达获得完整一帧扫描数据期间，采用改进的Gmapping算法对当前时刻所接收到的激光雷达获取到的扫描数据进行处理，得到同一时刻且在同一位置处，激光雷达扫描360度环境完整一帧的扫描数据；其中改进的Gmapping算法过程包括：步骤2.2.1：输入最近时刻t的粒子群、采样子集并初始化粒子群，遍历上一时刻粒子群中的粒子，并获取粒子携带的位姿、权重和地图；步骤2.2.2：通过里程计进行位姿更新，采用极大似然估计求取局部极值；步骤2.2.3：更新地图，更新粒子群，循环遍历上一时刻的所有粒子；计算所有粒子权重的离散程度，并根据阈值判断粒子权重是否符合要求；步骤2.3：根据优化后的完整一帧扫描数据，逐帧进行位姿变换并拼接，然后采用相邻帧边约束的方法，根据与当前帧相关联的关键候选帧，通过对齐匹配地标来校正姿态累计误差，其中关键候选帧的选择条件和添加的约束表示为：||xip-xjp||＜Thdist1‖pathxi,xj‖Thpath2Scorexi,xjThscore3式中：xi为第i个关键帧的估计位姿；p表示关键帧权重；path为关键帧的最小距离；Score为匹配结果的评分；Thdist为设定的阈值；Thpath为设定的距离阈值；Thscore为设定的得分阈值；||...||表示取绝对值；最后得到全局静态2d栅格地图，并将其保存至“map”的路径下；所述步骤3的具体过程如下：步骤3.1：基于步骤2生成的2D栅格地图网络，标注机器人巡航区域和巡航目标位置；步骤3.2：使用A*算法进行机器人巡航的全局路径规划，生成初始路径；所述A*算法过程为：步骤3.2.1：从机器人起点A开始，检查其相邻的栅格，并将它们加入到由栅格构成的Openlist中；步骤3.2.2：检查与起点A相邻的方格，忽略其中不可通行障碍物所占领的方格，把其中可行走的或者可到达的方格加入到Openlist中；步骤3.2.3：遍历Openlist，并计算估价函数Fn，其中Fn的计算公式为：Fn＝Gn+Hn4其中，Gn为从起点A移动到指定方格的移动代价，Gn为当前位置的G值，Hn为计算从当前方格横向或纵向移动到达目标所经过的方格数，忽略对角移动，总数乘以10；从Openlist中选择F值最小的方格节点，将其设置为起点A，并再次执行步骤3.2.2；当相邻最小Fn的方格已经存在Openlist时，判断最小Fn方格的G值是否小于Gn，即判断G值是否为下一个位置的G值；步骤3.2.4：当终点B加入到Openlist中时，则保存路径；步骤3.3：安防巡航机器人按照A*算法的全局规划路径执行巡航任务，并利用激光雷达检测周围环境是否存在动态障碍物，当发现障碍物时，则在全局路径的基础上调用DWA算法进行局部路径规划，从而规避动态障碍物；所述DWA算法过程包括：步骤3.3.1：根据小车当前状态v,ω，求解机器人在不同速度和角速度状态下的预测状态，并模拟这些速度在一定时间内的运动轨迹；步骤3.3.2：采用评价函数评价不同预测状态下的评价函数的值；其中评价函数Gv,ω表示为：Gv,ω＝σα*headingv,ω+β*distv,ω+γ*velv,ω5其中，headingv,ω为方位角评价函数：评价机器人在当前的设定的速度下，轨迹末端朝向与目标点之间的角度差距；distv,ω表示机器人处于预测轨迹末端点位置时与地图上最近障碍物的距离，对于靠近动态障碍物的采样点进行惩罚，确保机器人的避障能力，降低机器人与障碍物发生碰撞的概率；velv,ω为当前机器人的线速度，保证机器人快速到达目标；α、β、γ、σ为权重；步骤3.3.3：归一化评价函数，采用Softmax选取合适的评价函数对应的预测状态的线速度和角速度作为下一个原始状态的线速度和角速度；步骤3.4：更新机器人状态，采用A*算法重新为机器人规划全局路径，并继续执行巡航任务；所述步骤4的具体过程如下：步骤4.1：读取RGB-D深度相机获取的视频流信息，作为系统输入；步骤4.2：利用改进的YOLOv7，提取视频流中的行人目标以及与危险行为有关的目标物体；所述的改进的YOLOv7算法具体为：网络结构上，在YOLOv7框架上使用部分卷积压缩卷积核的通道数，降低模型的参数量；重新构建一个CA注意力模块，使得网络在获取跨通道信息的同时，捕获到图像的位置信息和方向信息；损失函数上，采用Wise-IoU损失函数替换原算法中的CIoU，引入非单调动态聚焦机制，提升算法的特征提取能力；步骤4.3：以提取到的目标人员区域作为人体姿态检测的输入，利用改进的SimCC提取出视频流中行人的人体关键点表示；所述的改进的SimCC算法具体为：网络结构上，通过将自注意机制和一种新颖的空间卷积相结合，LiteFNet使特征图在底层网络中获得更具信息性的全局特征表示；改进的SimCC算法添加大核卷积和自注意机制的方式，增强SimCC处理空间信息的能力，获取有效关键点特征表示；步骤4.4：使用ST-GCN对目标人员行为进行分析判断，结合空间信息确定人员是否出现异常行为；步骤4.5：将判断出的危险行为信息传输到前端进行显示以及预警，同时控制小车靠近异常人群进行预警或者救助。

全文数据：

权利要求：

百度查询： 中北大学 一种基于SLAM和人群异常行为识别的安防巡检系统和方法