买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连民族大学

摘要：一种视频人物动作特征的典型模式挖掘方法，其属于计算机视觉与数据挖掘领域。该方法在肢体动作单元识别方面，引入姿态矫正模块来优化人体关键点特征数据，提高模型对肢体动作单元的识别性能。然后，依据肢体和面部动作单元的识别结果，提出视频人物动作特征事务数据库的构建方法以适应频繁项集的挖掘，并引入Apriori算法来挖掘出视频人物肢体和面部动作特征的频繁项集。最后，通过设计合适的动作单元特征组合方式来表示视频人物个体动作的典型模式。本发明通过对不同的视频人物进行挖掘测试，验证了所提出的视频人物典型模式挖掘方法能够有效提取出人物频繁出现的动作特征。

主权项：1.一种视频人物动作特征的典型模式挖掘方法，其特征在于，针对单个视频人物动作特征的典型模式挖掘，包括以下步骤：S1.人物个体动作单元定义，采用面部编码系统中面部分析工具OpenFace识别出的面部动作编码作为人物的面部动作单元，采用了iMiGUE数据集中的动作类别作为人物个体的肢体动作单元；S2.使用OpenFace提取视频人物的面部动作单元特征：使用OpenFace以逐帧的方式对人物视频进行检测，得到每帧出现的面部动作单元特征文件；在此基础上，再以L帧为检测步长，依次对面部动作单元特征检测文件进行筛选，提取出相邻帧中连续出现3次及以上的面部动作单元，作为最终的提取结果；S3.对iMiGUE数据集进行预处理；构建基于骨架的图卷积肢体动作单元识别模型，在时空图卷积算法主干网络中引入了姿态矫正模块；所述姿态矫正模块包括卷积层、图卷积层、时间卷积层，其中图卷积层和时间卷积层均采用了数据批处理层和残差连接，具体包括以下步骤：基于骨架的图卷积肢体动作单元识别模型，使用ST-GCN算法作为主干网络；在基于骨架的动作识别中，每个骨架序列被表示为一个时空图GV,E；其中，顶点V是由坐标表示的身体关节；边E包括空间边和时间边，空间边是每帧上的顶点之间的连接，而时间边是相邻帧上的相同关节的连接；图卷积层：图卷积对预定义的图结构进行操作，在空间维度上，每个顶点的图卷积可以表示为： 式中，fv为顶点v的特征，fin为输入特征，fout为输出特征，w为权重；vi为目标顶点，Bi是包括vi在内的相邻节点的集合；vj为vi相邻顶点，li为映射函数，它将邻居节点映射到一组预定义的组中，包括顶点本身、靠近重心的顶点以及远离重心的顶点；其中Zij是顶点本身、靠近重心的顶点以及远离重心的顶点的基数包括vj；网络中输入的骨架序列表示为一个张量C,T,N，C为通道数，T为序列的长度，N为顶点数；因此公式1转换为： 式中，Kv＝3是空间维度的核大小，矩阵表示顶点连接，在顶点vj∈Βi时为非零值； 为归一化对角矩阵，α设置为0.001；Wk是一个1×1卷积运算的权值向量；注意力地图Mk表示每个顶点的重要性，通过一个元素级乘积⊙应用于每个顶点时间卷积层：时间卷积是一个Kt×1卷积，其中Kt＝3是时间维度上的核大小；所述在主干网络中引入姿态矫正模块，通过姿态估计工具来获取每个关节的x和y坐标以及关节估计的置信度并作为输入，来估计关节点的偏移量Δx,Δy，其中图卷积层利用关节之间的空间关系，而时间卷积层则利用时间的一致性进行姿态细化，再将偏移量Δx,Δy添加到每个关节的二维坐标当中；矫正后的骨架坐标表示为：Xi＝xi+Δxi3式中，Xi为矫正后的坐标，xi为原始坐标，Δxi为原始坐标的偏移量；通过估计每个关节的偏移量，并将这些偏移量添加到原始骨架坐标上，以此来矫正每个骨架坐标数据；S4.将数据集中的图像数据作为输入，输入引入了姿态矫正模块的时空图卷积算法主干网络中进行训练，得到训练好的肢体动作单元识别模型；S5.将待检测的人物视频图像送入到训练好的肢体动作单元识别模型中，得到人物的肢体动作单元类别；S6.根据OpenFace和肢体动作单元识别模型识别出的人物视频中所出现的面部动作特征和肢体动作特征，分别构建面部动作单元事务数据库和肢体动作单元事务数据库；S7.通过使用Apriori算法分别挖掘出视频人物肢体动作特征和面部动作特征的频繁项集；S8.根据肢体和面部动作特征频繁项集的挖掘结果，将同一时间区间内的肢体动作和面部动作进行组合来表示视频人物个体动作的典型模式。

全文数据：

权利要求：

百度查询： 大连民族大学 一种视频人物动作特征的典型模式挖掘方法