买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湘江实验室

摘要：本申请适用于行为识别技术领域，提供了一种基于多模态的员工行为识别方法、装置、设备及介质。该方法包括：获取当前RGB图像、当前姿势信息，以及T个时刻的定位信息；利用图像特征提取模型对当前RGB图像进行特征提取得到图像特征；根据当前姿势信息利用姿势信息处理模型获取姿势邻接矩阵；利用定位特征提取模型对定位信息进行特征提取得到定位特征；对三个模型进行优化；利用优化后的模型分别获取待识别员工的最终图像特征、最终姿势邻接矩阵和最终定位特征；将最终图像特征、最终定位特征和最终姿势邻接矩阵融合得到融合特征；利用目标检测算法对融合特征进行识别，得到行为识别结果。本申请的方法能够提高行为识别结果的精确度。

主权项：1.一种基于多模态的员工行为识别方法，其特征在于，包括：获取多位目标员工的当前RGB图像、当前姿势信息，以及T个时刻的定位信息；第T个时刻为当前时刻；利用图像特征提取模型对每位所述目标员工的当前RGB图像进行特征提取，得到所述目标员工的图像特征；根据每位所述目标员工的当前姿势信息，利用姿势信息处理模型获取所述目标员工的姿势邻接矩阵；所述当前姿势信息中每两个关键点构成一关键点组，所述姿势邻接矩阵中的多个元素与所述当前姿势信息中的多个关键点组一一对应，每个所述元素用于描述对应的两个关键点之间的相关关系；利用定位特征提取模型对每位所述目标员工在T个时刻的定位信息进行特征提取，得到用于描述所述目标员工的位置信息的定位特征；根据所有目标员工的图像特征、姿势邻接矩阵和定位特征对所述图像特征提取模型、所述姿势信息处理模型和所述定位特征提取模型进行优化，得到优化后的图像特征提取模型、优化后的姿势信息处理模型和优化后的定位特征提取模型；利用所述优化后的图像特征提取模型获取待识别员工的最终图像特征，利用优化后的姿势信息处理模型获取所述待识别员工的最终姿势邻接矩阵，利用优化后的定位特征提取模型获取所述待识别员工的最终定位特征；将所述待识别员工的最终图像特征和所述最终定位特征进行融合，得到所述待识别员工的图像定位特征，并将所述待识别员工的最终姿势邻接矩阵和所述图像定位特征进行融合，得到所述待识别员工的融合特征；利用目标检测算法对所述待识别员工的融合特征进行识别，得到所述待识别员工的行为识别结果。

全文数据：

权利要求：

百度查询： 湘江实验室 一种基于多模态的员工行为识别方法、装置、设备及介质