买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：吉林大学

摘要：基于姿态跟踪的孤独症谱系障碍异常肢体行为检测方法属视频行为分析技术领域，本发明先对采集到的儿童诊断视频进行预处理，再用重新训练目标检测算法YOLOv3提取视频中所有人的检测框，裁剪得到子图，使用HRNet人体姿态估计方法对子图进行人体关节点检测，并使用OSNet行人重识别网络提取子图的表观特征进行多目标跟踪，得到儿童左右肩、肘、腕的运动轨迹，再对运动轨迹进行运动速度均值和运动速度标准偏差计算，将得到的特征用随机森林算法进行留一交叉验证，最终对分类结果进行综合判断；本发明对儿童左右肩、肘、腕进行运动轨迹检测，比单一的关节检测信息更加全面，提取有关运动速度的两类特征综合判断，从而提升检测的准确率。

主权项：1.基于姿态跟踪的孤独症谱系障碍异常肢体行为检测方法，其特征在于，包括下列步骤：1.1儿童视频采集：采集医生诊断儿童时的监控视频，获取儿童和医生互动过程中的儿童肢体行为视频数据，包括下列步骤：1.1.1对采集得到的监控视频，筛选出评估量表为ADOS-2并且评估等级为T、1、2的儿童视频，在医生做出同一种肢体动作后，粗略截取监控视频；1.1.2将步骤1.1.1获得的儿童视频进行预处理，转化为帧图像，挑选没有噪声干扰的连续750帧帧图像，进行统一命名；1.1.3对步骤1.1.2获得的750帧帧图像，将其转化为30s的儿童视频，采样帧率为25帧秒；1.2儿童运动轨迹跟踪：对步骤1.1.3获取到的儿童视频，利用人体姿态跟踪算法得到儿童左右肩、肘、腕的运动轨迹，包括下列步骤：1.2.1人体框检测：对步骤1.1.2获得的预处理后的帧图像，进行合理的抽帧操作，制作人体框检测数据集，共采集的帧图像数量为1223，然后进行人工标注，训练YOLOv3网络，将步骤1.1.3获得的儿童视频输入至重新训练的YOLOv3网络，得到视频中儿童、医生、家长的检测框，对其裁剪，得到子图；1.2.2人体关节点检测：对于步骤1.2.1得到的子图，使用HRNet人体姿态估计方法进行人体关节点检测，得到各个关节点的位置坐标以及置信度；1.2.3多目标跟踪：对于步骤1.2.1得到的子图，利用OSNet行人重识别网络提取子图的表观特征，计算不同人属于同一目标的概率，进行数据关联，为视频帧图像中的每个人分配数字ID；1.2.4通过步骤1.2.1、1.2.2和1.2.3，能得到视频中儿童的ID信息，以及跟踪得到儿童左右肩、肘、腕关节点的运动轨迹；1.3分析运动轨迹：对步骤1.2.4跟踪得到的儿童左右肩、肘、腕关节点的运动轨迹，计算运动速度，并提取运动速度均值与运动速度标准偏差作为特征向量，包括下列步骤：1.3.1对儿童左右肩、肘、腕关节点的运动轨迹，进行筛选，去除帧数小于700帧并且人体姿态跟踪明显错误的样本；1.3.2对步骤1.3.1得到的样本，提取左右肩、肘、腕六个关节点x、y轴坐标变化的位置信息，计算运动速度；1.3.3对步骤1.3.2得到的运动速度，计算左右肩、肘、腕六个关节点的运动速度均值，得到融合后的速度均值特征向量；1.3.4对步骤1.3.2得到的运动速度，计算左右肩、肘、腕六个关节点的运动速度标准偏差，得到融合后的速度标准偏差特征向量；1.4对步骤1.3.3得到的融合后的速度均值特征向量和步骤1.3.4得到的融合后的速度标准偏差特征向量，利用随机森林进行训练，包括下列步骤：1.4.1将医生评估量表诊断结果为轻等级的样本作为正常样本，将医生评估量表诊断结果为中、重等级的样本作为异常样本，设正常样本标签为1，设异常样本标签为-1；1.4.2训练过程中采用留一交叉验证，即在样本总数为N的情况下，每个样本都将单独作为验证集，其余的N-1个样本作为训练集；1.4.3随机森林是一种由多颗决策树组成的分类器，随机森林的构建需要从数据的随机选取与特征的随机选取两个方面组成，随机森林最终输出的分类结果由每颗决策树输出的分类结果的众数决定；1.4.4对步骤1.3.3得到的融合后的速度均值特征向量和步骤1.3.4得到的融合后的速度标准偏差特征向量，分别构建样本集，设置每次有放回的抽取原始样本集总数的23个样本作为子样本集，通过调整随机森林包含决策树的数量、随机选取的特征数量和每颗决策树的最大深度，得到两个最佳的随机森林模型；1.5孤独症谱系障碍异常肢体行为综合判断：根据步骤1.4.4得到的两个最佳随机森林模型，对分类结果进行综合判断，规定一个判别规则：若两个最佳随机森林模型得到的分类结果都是-1，则判断儿童为孤独症谱系障碍；若两个最佳随机森林模型得到的分类结果至少有一个是1，则判断儿童为正常。

全文数据：

权利要求：

百度查询： 吉林大学 基于姿态跟踪的孤独症谱系障碍异常肢体行为检测方法