买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州科技大学

摘要：本发明公开了面向智能电梯乘客意图分析的视频分类方法及系统，属于计算机视觉领域。所述方法首先利用自监督模型生成像素级的对象的mask作为以对象为中心的表示，并通过对每个对象的mask进行位置编码获得对象的位置信息；将实例的外观信息和位置信息聚合后的特征在时间维度进行推理，理解不同对象之间的交互和关系，与采用视频编码器提取的RGB视频帧的语义特征进行融合，增强了基于对象的特征和整体视频语义之间的互补性和有效性，可以显著提高模型在行为识别任务中的准确性和鲁棒性，能够更好地适应电梯场景乘客意图识别，更加准确地识别和分析乘客是否有乘坐电梯的需求，提供更智能化的电梯系统。

主权项：1.一种面向意图分析的视频分类方法，其特征在于，所述方法包括：步骤1：获取待分类视频，并将所述待分类视频均匀地划分为多个片段，随机选择每个片段中的一帧来组成输入的RGB视频帧序列；步骤2：将所述RGB视频帧序列输入基于外观的视觉编码器，得到所述待分类视频的每个类别的得分；步骤3：将所述RGB视频帧序列和视频中对象的类别标签输入对象mask生成网络，得到图片中每个对象对应的mask表示；步骤4：对每个对象的mask编码位置信息，获得具有位置信息的对象聚合特征；步骤5：将每个对象的聚合特征进行特征融合，利用所述聚合特征的位置编码直接连接不同时间点上同一对象的特征，得到每个对象在视频帧序列中的运动轨迹；步骤6：对于每个对象的运动特征，采用Nonlocal模块对不同对象的位置特征与所有其他对象位置特征进行相似性计算，得到相似度矩阵，基于所述相似度矩阵，将每个位置特征与其他位置特征进行加权聚合；步骤7：将加权聚合后的特征进行平均池化，并输入MLP网络，得到的每个类别的得分；步骤8：将所述步骤2和步骤7得到的每个类别的得分进行加权融合，得到最终的分类结果；所述步骤4包括：步骤41：针对每个对象设计独立的位置编码，对于每个像素2D位置坐标x，y使用正弦函数和余弦函数将其编码成一个具有dmodel维的向量表示，具体的过程用以下公式表示： 其中，p代表输入的二维坐标点，i代表编码的维度，dmodel代表模型的输入维度，每个维度都按照不同的频率进行编码，以便捕捉不同位置之间的相对关系；第i个维度的值为：Vx,y,i＝sinx,2i，i为偶数Vx,y,i＝cosy,i-12，i为奇数步骤42：将所有的输入点映射为一个位置编码矩阵Z，其中每一行都对应着一个输入点的编码向量： 步骤43：将所述位置编码矩阵Z与词向量矩阵相加，得到一个增强了位置信息感知能力的输入矩阵，通过位置编码获得对象的聚合特征，所述聚合特征中包含对象的空间信息以及时间变化，表示为： 其中，N为对象个数，T为视频帧数量。

全文数据：

权利要求：

百度查询： 苏州科技大学 面向智能电梯乘客意图分析的视频分类方法及系统