买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：沈阳航空航天大学

摘要：本发明公开了一种基于人体骨骼序列的动作预测方法，该方法充分利用人体拓扑图结构，采用图卷积网络提取丰富的、具有代表性的时空特征，通过采用多老师模型的知识蒸馏技术，低观测率序列从完整序列和高观测率序列学习先验知识，具体地，每个样本实例根据观测率自适应地选择对应的预训练老师模型，进行知识迁移学习。多老师模型自适应指导生成的学生模型，通过采用再生网络技术，迭代训练生成多个学生模型。在再生网络训练过程中，由于低观测率下模型分类性能较弱，以样本实例观测率为依据对交叉熵损失函数进行加权，从而优化学生模型。通过采用加权融合策略，将多个学生模型的预测结果进行融合作为最终的预测分类结果，具有预测准率高等优点。

主权项：1.一种基于人体骨骼序列的动作预测方法，其特征在于，包括如下步骤：S1：采用图卷积网络模型提取待预测人体骨骼序列数据的时空特征，并将所述时空特征输入到已训练完成的多代学生模型中，获得多个分类结果；S2：将多个所述分类结果进行融合，获得最终预测结果；其中，步骤S1中，所述多代学生模型的训练过程具体如下：S101：采集已有人体骨骼序列数据进行预处理，生成完整骨骼序列样本和不完整骨骼序列样本，其中，所述不完整骨骼序列样本包括高观测率骨骼序列样本和低观测率骨骼序列样本；S102：采用图卷积网络模型分别提取所述完整骨骼序列样本和所述高观测率骨骼序列样本的时空特征，分别利用所述完整骨骼序列样本提取的时空特征和所述高观测率骨骼序列样本提取的时空特征预训练获得相应的完整老师模型Teacher完整和高观测老师模型Teacher高观测；S103：基于图卷积网络深度学习方法设计第一代学生模型，且所述第一代学生模型与预训练的完整老师模型Teacher完整和高观测老师模型Teacher高观测具有相同的网络结构和参数量；S104：将完整骨骼序列样本和不完整骨骼序列样本均作为第一代学生模型的输入样本，并采用图卷积网络模型进行输入样本的时空特征提取，依据输入人体骨骼序列样本的观测率，自适应地选择预训练的完整老师模型Teacher完整或者高观测老师模型Teacher高观测进行指导，以真实类别标签作为监督，调整所述第一代学生模型中的参数，获得训练完成的第一代学生模型；S105：依据所述第一代学生模型，依次设计并训练获得余下的多个代学生模型，其中，第m代学生模型的设计和训练具体如下：设计与第m-1代学生模型具有相同网络结构和参数量的第m代学生模型，将完整骨骼序列样本和不完整骨骼序列样本均作为第m-1代学生模型和第m代学生模型的输入样本，采用图卷积网络模型进行输入样本的时空特征提取，以第m代学生模型输出的软标签作为指导，以真实类别标签作为监督，调整所述第m代学生模型中的参数，获得训练完成的第m代学生模型，其中，m为大于等于2的正整数。

全文数据：

权利要求：

百度查询： 沈阳航空航天大学 一种基于人体骨骼序列的动作预测方法