买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广东工业大学

摘要：本发明公开了一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，包括：实时提取运动员的人物图像、运动姿态序列、光流数据；将人物图像送入双流网络的空间流网络中，获取运动员空间特征；将运动姿态序列作为有向图传入多层的图卷积神经网络中，获得运动员运动时的姿态时空特征；将每一帧光流数据先经过卷积神经网络提取特征后再送入时间关系网络，获取运动员的光流运动信息特征；分别将得到的三种特征两两配对，得到三种聚合特征并分别送入卷积神经网络中，得到三种融合特征并将其加权融合得到最终的整体人体多模态融合运动特征，将其送入全连接网络中得到最终的动作分类识别结果。本发明提高了运动员犯规动作识别准确度。

主权项：1.一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，其特征在于，包括以下步骤：S1：实时提取运动员的人物图像、运动姿态序列、光流数据；S2：将人物图像送入双流网络的空间流网络中，获取运动员空间特征；S3：将运动姿态序列作为有向图传入多层的图卷积神经网络中，获得运动员运动时的姿态时空特征；运动姿态时空特征经过图卷积运算得到，所述图卷积运算公式如下： 其中，、代表人体姿态关节点，和代表输入和输出图像，和代表关节点间的权重和重构后的权重，是指利用关节点来给其他节点赋予数字标签，所述数字标签依赖于两个关节点之间的最短路径，是正则化项；，其中D设为常数1，是两个关节点之间的最短路径；S4：将每一帧光流数据先经过卷积神经网络提取特征后再送入时间关系网络，获取运动员的光流运动信息特征；获取运动员光流运动信息特征过程为：利用卷积神经网络中的ResNet基线网络对光流序列的每一帧光流进行建模，然后对建模后的每一帧光流进行特征之间的融合；将特征融合后的光流序列送入时间关系网络中按照不同的帧数分组，每一组中的光流的序号从小到大排序；对每一组光流序列进行建模，得到帧间时间关系特征，然后再融合相同组别的帧间时间关系特征，得到段间时间关系特征；将所有段间时间关系特征通过相加，得到包含有时间推理信息的整体运动员光流运动信息特征；S5：分别将步骤S1、S2、S3得到的三种特征两两配对，得到三种聚合特征；S6：将三种聚合特征分别送入卷积神经网络中，得到三种融合特征；S7：将三种融合特征加权融合得到最终的整体人体多模态融合运动特征；S8：将整体人体多模态融合运动特征送入全连接网络中得到最终的动作分类识别结果。

全文数据：

权利要求：

百度查询： 广东工业大学 一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法