买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种河道游人行为识别与预警方法、装置及介质，所述方法包括对获取河道上的游人视频数据进行帧化以提取图片，利用改进的AlphaPose算法获取图片中的人物姿态特征信息；将SwinTransformer的滑动窗口注意力机制结合AlphaPose算法的通道注意力机制，提升姿态提取的准确率，判断是否有游人滞留河道；根据水库放水信息，建立水流到达时间模型TSMS；并建立游人轨迹跟踪识别模型，跟踪识别游人是否正在离开河道；结合改进的YOLO算法再次进行游人轨迹预测，若和游人轨迹跟踪识别结果相同，则无人机启动驱离或者提醒程序，若不同则重新识别预测；确定游人离开后，水库放水。本发明及时发现下游河道将处于危险状态的游人，有效的保障了游人的人身安全以及水库准时地开闸放水。

主权项：1.一种河道游人行为识别与预警方法，其特征在于，包括以下步骤：1基于无人机摄像头获取河道上的游人视频数据；2对获取到的视频数据进行帧化以提取图片，利用改进的AlphaPose算法获取图片中的人物姿态特征信息；所述改进的AlphaPose算法为将SwinTransformer引入Alphapose中的SPPE中，将SwinTransformer的滑动窗口注意力机制结合AlphaPose算法的通道注意力机制，提升姿态提取的准确率，判断是否有游人滞留河道；3根据水库放水信息，建立水流到达时间模型TSMS；4水流到达时间小于等于预设时间时，利用无人机启动驱离程序，并建立游人轨迹跟踪识别模型，跟踪识别游人是否正在离开河道；5结合改进的YOLO算法再次进行游人轨迹预测，所述改进的YOLO算法为融入坐标注意力机制CA与设计损失函数SIOU，并在损失函数中引入超参数θ，利用遗传算法优化θ，将改进的YOLO算法与步骤4获得的游人轨迹跟踪识别结果相结合，提高判别的准确性；若预测结果相同，则无人机启动驱离或者提醒程序，若不同则重新识别预测；6确定游人离开后，无人机将实时视频数据传回水库，待确认无游人滞留河道，水库放水；所述步骤2实现过程如下：利用对称空间转换网络SSTN中的空间变换网络STN接收图片中人体候选框，空间反变换网络SDTN将预测生成的人体姿势与原始的框选区域相对应，数学表达式如下： 式中，msns与mtnt为人体区域框上点位转换前后的坐标；β1，β2，β3为二维空间向量；经过SSTN获得检测目标后，利用AlphaPose中的参数化姿态非最大值抑制p-PoseNMS体系消除目标检测产生的冗余边界框，消除定义公式如下：fPi,Pj|Λ,η＝1，[DPi,Pj|Λ≤η] DPi,Pj|Λ＝KPi,Pj|σ1+λHPi,Pj|σ2式中，Pi表示当前姿态；Pj为Pi的参照姿态；DPi,Pj|Λ为姿态距离度量；Λ为D·的一个参数集合；η为阈值；k*为关节部位；c*为关节置信度；Bki为ki的区域位置；K为姿态距离；H为空间距离；λ为权重系数；σ1与σ2分别为姿态距离与空间距离的参数；在Alphapose引入SwinTransformer算法，SwinTransformer采取了对图像进行相对位置信息编码的方式，将相对位置信息融合到目标检测框中，提高了姿态识别的准确率，公式如下： 式中，Attention表示目标检测框；Q为噪声矩阵；K为卡尔曼增益；V目标移动速度；SoftMax为一函数；KT为噪声矩阵Q的卡尔曼增益；d为坐标值；B为相对位置矩阵；利用姿态向导生成器PGPG对目标进行姿态识别；将识别的姿态数据输入数据库并对比，判别是否为人类姿态特征；所述步骤3实现过程如下：连续方程： 式中，H水的深度；x与y为二位坐标轴，u与v分别为x与y方向的水速分量；动量方程： 式中，Γφ为有效粘性系数；f为科里奥利力系数；ζ为自由面相对高度；g为重力加速度；τx与τy为底部阻力在x与y轴产生的分量；C为风力系数；ρa为大气密度；w为水上十米处的风速；β为风向与水平面夹角；采用有限元法对控制方程进行离散，利用流体力学有限元法计算方程的数值解，最终求得时间；所述步骤4实现过程如下：轨迹跟踪识别模型如下： G＝Tρ[min||D-J||2+λ||α||] 式中，x为人动态初始位置；k为位置动态权值；xk，xk-1为x在动态权值为k与k-1时的分量；zk为动态权值为k时的系统组建；z1：k-1为位置动态权值在1～k-1之间变化的系统组建；G为处理后的游人目标图像；D为目标类型；J为数据样本；λ为图像标准化参数；α为图像转换系数；E为图像灰度值；V为图像灰度级；X为图像像素点个数；p为图像生成率；ρ游人目标位置；Q为概率分布；γ为归一化权值；F为采用最大合并值获取图像信号在空间维度上的值；μ为有效信道；v为原始输出值；Sigmoid为一函数；Tρ为下一图像预测位置；F为模型图像；ε为区域维度；Tut为在u范围内t个游人目标总区域；依据图像预测位置，预测游人轨迹，计算公式如下： 式中，Ui,j表示表示游人i在第j时刻所处通道值；Ai为游人i的移动速度；I表示观测数据；为像素低点梯度方向；g为梯度幅值；Si,j为第i个游人在j时刻的轨迹；所述步骤5实现过程如下：为减弱环境噪声对检测的影响，将坐标注意力机制CA融入到算法YOLO中；坐标信息嵌入模块中将坐标信息嵌入至输入长为C、高为H、宽为W的特征图中，并沿水平与垂直方向进行池化，得到每个通道的编码，计算公式如下： 式中，zh和zw分别表示为尺寸为C×H×1和C×W×1的聚合特征张量；H为图片的高度；W为图片的宽度；X为坐标信息；i和j为在范围内变化的随机变量；坐标注意力机制将坐标信息嵌入部分输出的张量按空间维度进行拼接操作，以获得编码了水平与垂直方向信息的中间特征图；经过归一化与非线性激活处理后，特征图再被分割为两个独立向量，并通过下式计算相应权重：gh＝σFhfhgw＝σFwfw式中，gh和gw分别表示在高和宽上的权重；h和w分别表示为高和宽；fh和fw分别表示被分割的两个独立向量；Fh和Fw分别表示对fh和fw的卷积核转换；σ为sigmoid函数；在损失函数中引入超参数θ，避免对形状损失过度优化而影响预测框的自由运动，公式如下： 式中，SIOU为损失函数；IOU为原损失函数；Ω为形状损失度；wW与wh分别为图片在高度和宽度上的损失度；w，h与wt，ht分别表示预测框和真实框的宽度与高度；θ为是一个用于控制对形状损失的关注程度的超参数；利用遗传算法优化超参数θ，进一步提高对形状损失过度优化而影响预测框的自由运动。

全文数据：

权利要求：

百度查询： 淮阴工学院 一种河道游人行为识别与预警方法、装置及介质