买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江南大学

摘要：本申请提供的基于解开自适应多维动态图卷积网络的骨架行为识别方法，其能充分有效地提取丰富的时空特征，同时，其能够大型骨架数据集上取得优异的识别准确率，并具备有良好的泛化性能。其在空间维度采用解开自适应图卷积模块自适应调整图拓扑结构并更新人体初始的物理结构，采用多维动态时序卷积模块从多个维度对轨迹特征进行全面表征；然后，采用EMA模块跨时空维度进行时空信息聚合，加强了重要关节处的关键帧特征；最后，结合解开自适应图卷积模块、多维动态时序卷积模块和EMA模块，构建解开自适应多维动态图卷积模型，在公共的大型数据集上基于多流模型实现端到端的训练，有效地提取关节判别依赖关系和多维度的轨迹特征。

主权项：1.基于解开自适应多维动态图卷积网络的骨架行为识别方法，其包括以下步骤：S1：获取原始视频样本，对所述原始视频样本进行预处理，获取所述原始视频样本中骨架信息数据；S2：构造表示所述骨架信息数据的时空图；S3：基于所述时空图构建人体骨架行为识别模型；S4：基于多流网络对所述人体骨架行为识别模型进行训练，得到训练好的所述人体骨架行为识别模型，具体包括以下操作：确定表示骨架行为的静态特征和动态特征的骨架行为特征数据，并对所述骨架行为特征数据进行建模；所述骨架行为特征数据包括：关节、骨骼、关节运动和骨骼运动；训练时，基于多流网络，对输入的所述时空图进行关节、骨骼、关节运动和骨骼运动四个信息支流分别训练，得到四个训练好的人体骨架行为识别支流模型，将四个所述人体骨架行为识别支流模型的输出进行融合作为多流图卷积网络的输出；S5：获取待识别视频数据，提取所述待识别视频数据组中的骨架信息数据，将骨架信息数据转化为时空图，送入到训练好的所述人体骨架行为识别模型中，得到最终识别结果；其特征在于：所述人体骨架行为识别模型的构建包括以下步骤：S3-1：将所述时空图中所有关节点的邻域，划分为分别表示根关节点自身、靠近骨架重心的向心邻居节点和远离骨架重心的离心邻居节点的三个骨架节点子集；S3-2：获取任意一个骨架节点子集，记作：待计算骨架节点子集；构建解开自适应图卷积模块，基于所述解开自适应图卷积模块对表示所述待计算骨架节点子集中的两个节点vi和vj之间关系的原始自适应图进行解开操作，并重新捕获每对关节点的交互关系和学习关节点的重要细节特征；S3-3：引入空间、时间和通道注意力机制，构造多维动态时序卷积表征，提取人体运动轨迹特征后，构建时序卷积层，并将时序卷积层记作：多维动态时序卷积模块；S3-4：采用EMA模块聚合时空信息，对重要关节点处的关键帧进行特征增强；S3-5：构建解开自适应多维动态图卷积块；所述解开自适应多维动态图卷积块包括：依次连接的解开自适应图卷积模块、EMA模块和多维动态时序卷积模块；S3-6：构建解开自适应多维动态图卷积网络，所述解开自适应多维动态图卷积网络包括：10个解开自适应多维动态图卷积块、GAP层和FC层；S3-7：基于解开自适应多维动态图卷积网络构建所述人体骨架行为识别模型。

全文数据：

权利要求：

百度查询： 江南大学 基于解开自适应多维动态图卷积网络的骨架行为识别方法