买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门瑞为信息技术有限公司

摘要：本发明提供了一种基于手部关键点和transformer的动态手势识别方法，先获取T时间段内的手部图像序列，并获取各手部图像中的手部关键点；将T时间段内手部图像序列各手部图像中的手部关键点坐标拼接为三维矩阵，拼接后的关键点输入矩阵维度为3*T*K；将拼接得到的三维矩阵输入预训练好的神经网络模型，依次进行近距关节局部运动特征提取、特征转置、远距关节全局运动特征提取、transformer注意力分配、softmax函数激活；经神经网络模型预测后，输出T时间段上的动态手势的识别结果；本发明提供的方法，使用transformer模块，使网络在预测手势时能够聚焦特征性更强的关键点运动信息，使模型的预测结果更加准确，且拥有较少的网络参数和更快的运行速度，从而达到实时动态手势识别的效果。

主权项：1.一种基于手部关键点和transformer的动态手势识别方法，其特征在于，包括如下步骤：获取T时间段内的手部图像序列，并获取各手部图像中的手部关键点，手部关键点的坐标使用xi,yi,di|i∈[1,K]表示，K为手部关键点的个数，xi表示手部图像中第i关键点的横坐标，yi表示手部图像中第i个关键点的纵坐标，di表示手部图像中第i个关键点到相机平面的距离；将T时间段内手部图像序列各手部图像中的手部关键点坐标拼接为三维矩阵，第一维度为关键点的坐标，第二维度T为时间维度，第三维度为关键点序号维度，拼接后的关键点输入矩阵维度为3*T*K；将拼接得到的三维矩阵输入预训练好的神经网络模型，依次进行近距关节局部运动特征提取、特征转置、远距关节全局运动特征提取、transformer注意力分配、softmax函数激活；经神经网络模型预测后，输出T时间段上的动态手势的识别结果；所述神经网络模型具体为：基于手部关键点的神经网络模型中的卷积层均为2D卷积，输入数据输入到模型后，经m层二维卷积进行特征提取，m为整数，得到邻近关节点之间的局部特征，然后将特征层的第一维度和第三维度进行转置，再经过n层二维卷积组成的全局特征模块进行特征提取，n为整数，得到远距离关节点之间的全局特征，将全局特征展开为一维向量，经过transformer模块进行注意力权重再分配，最后，经过全连接层和softmax激活函数之后得到手势类别预测的概率。

全文数据：

权利要求：

百度查询： 厦门瑞为信息技术有限公司 一种基于手部关键点和transformer的动态手势识别方法和系统