买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安交通大学;宁波市舜安人工智能研究院

摘要：本发明公开了一种基于动作与其共现特征重组的时序动作定位方法及系统，所述方法包括以下步骤：获取待时序动作定位的原始视频序列，分解为若干个视频片段并编码，获得编码后的视频特征序列；基于所述编码后的视频特征序列，通过预训练好的特征重组网络对原始视频特征序列进行特征重组，获得特征重组后的视频特征序列；其中，所述特征重组网络包括串接的特征解耦子网络和特征重构子网络，用于解纠缠动作特征向量并规则化共现特征向量；基于所述特征重组后的视频特征序列，获得时序动作定位结果。本发明中，首次提出对视频特征重构，以获得包含显著动作信息的新的视频特征，能够准确地分类动作和精确地检测动作边界。

主权项：1.一种基于动作与其共现特征重组的时序动作定位方法，其特征在于，包括以下步骤：获取待时序动作定位的原始视频序列，分解为若干个视频片段并编码，获得编码后的视频特征序列；基于所述编码后的视频特征序列，通过预训练好的特征重组网络对原始视频特征序列进行特征重组，获得特征重组后的视频特征序列；其中，所述特征重组网络包括串接的特征解耦子网络和特征重构子网络，用于解纠缠动作特征向量并规则化共现特征向量；基于所述特征重组后的视频特征序列，获得时序动作定位结果；其中，所述特征重组网络中：所述特征解耦子网络包含特征编码器EA、EC，分别用于提取每个视频片段特征内的动作特征、动作共现特征；所述特征重构子网络包含两个特征生成器GA、GC，分别用于生成重组的动作特征、动作共现特征；所述预训练好的特征重组网络的获取步骤包括：在训练阶段，采用的损失函数包括两个余弦相似度损失、KL散度损失以及分类损失；其中，两个余弦相似度损失LA、LC的损失函数表达式分别为， 式中，a、c分别是训练时所需要的动作样本和耦合样本；是编码器EA的输出，分别表示动作样本a中的动作特征向量、耦合样本c中的动作特征向量；是编码器EC的输出，分别表示动作样本a中的共现特征向量、耦合样本c中的共现特征向量；其中，KL散度损失LKL的损失函数表示为，式中，μ、σ分别表示的均值和方差，N表示维度；其中，分类损失Lcls的损失函数表示为，式中，a′是GA的输出，wc是分类器可学习参数，py|wca′为分类器预测的动作概率，y和Y分别表示类别标签和类别标签集合；qc是指示函数，当训练样本的类别标签与目标类别yn相同时，qc＝1，否则qc＝0；在推理阶段，利用分类分数对a′和c′组合，得到重组的视频片段特征；其中，组合表达式为，ft′＝s·a′+1-s·c′；式中，ft′表示特征重组后的视频片段特征向量，s表示分类分数，a′、c′分别表示生成器GA、GC生成的特征向量。

全文数据：

权利要求：

百度查询： 西安交通大学 宁波市舜安人工智能研究院 基于动作与其共现特征重组的时序动作定位方法及系统