买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜广州大学申请的专利基于集成学习方法融合时间注意力图卷积的行为识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114708649B 。

龙图腾网通过国家知识产权局官网在2025-03-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210240650.8，技术领域涉及：G06V40/20；该发明授权基于集成学习方法融合时间注意力图卷积的行为识别方法是由曹忠;胡伟俊;尚文利;赵文静设计研发完成，并于2022-03-10向国家知识产权局提交的专利申请。

本基于集成学习方法融合时间注意力图卷积的行为识别方法在说明书摘要公布了：本发明涉及计算机识别技术领域，且公开了基于集成学习方法融合时间注意力图卷积的行为识别方法，包括以下步骤：步骤一：将拍摄得到的人体交互行为视频拆分成图片帧，每个视频都拆分成148帧；步骤二：使用Openpose算法实现人体骨骼点的三维坐标点的数据提取；步骤三：使用图结构和关节点特征矩阵来描述人体骨架，对于图结构，人体骨架的图结构的构建方式为自然物理连接方式。本发明是基于集成学习方法融合时间注意力图卷积的行为识别方法，使用融合时间注意力的时空图卷积网络进行行为识别，在数据特征描述上，使用了静止三维信息流、交互信息流、运动速度流和交互运动速度流来对人体特征进行描述，丰富了特征的语义信息。

本发明授权基于集成学习方法融合时间注意力图卷积的行为识别方法在权利要求书中公布了：1.基于集成学习方法融合时间注意力图卷积的行为识别方法，其特征在于：包括以下步骤：步骤一：将拍摄得到的人体交互行为视频拆分成图片帧，每个视频都拆分成148帧；步骤二：使用Openpose算法实现人体骨骼点的三维坐标点的数据提取；步骤三：使用图结构和关节点特征矩阵来描述人体骨架，对于图结构，人体骨架的图结构的构建方式为自然物理连接方式，而关节点特征矩阵则是步骤二描述的骨骼点三维坐标张量；步骤四：对于多模态交互特征的提取流程，首先利用关节点的三维坐标点特征信息，三维坐标点特征信息为静止三维信息流，提取出运动速度流和交互信息流，然后通过运动速度流得到交互运动速度流，最后将交互信息流和交互运动速度流组合成交互特征矩阵；步骤五：以人体的图结构和交互特征矩阵作为时空图卷积的输入，利用空域图卷积在空间维度方向进行特征提取，利用融合时间注意力的时间图卷积在时间维度方向进行特征提取和挖掘对行为识别有影响力的图片帧，空域卷积模块和融合时间注意力的时间图卷积模块共同组成融合时间注意力的时空图卷积模块；步骤六：重复步骤五，重新建立一个时空图卷积模块，设计步骤六的时空图卷积模块与步骤五的时空图卷积模块网络结构不一样，对其进行训练学习；步骤七：利用前面的步骤建立起来的两个时空图卷积模块作为基分类器，为避免训练数据的随机划分对训练结果造成的差异，每个基分类器的训练数据都要经过五折交叉验证来进行训练学习，将每个基分类器的训练输出和测试输出分别整合，作为元分类器的训练数据输入和测试输入；步骤八：使用KNN来对基分类器的预测结果数据进行决策级数据融合，最后实现行为识别分类；步骤四中，多模态交互特征提取的细节如下：对于给定的视频骨架序列，其关节点的公式描述如下：S＝{Jmti|m＝1，...，M，t＝1，...，T，i＝1，...，I}1其中M为一帧视频中人体的总数，T为视频序列的总长度，I为人体骨架的总关节数，Jmti描述为视频中第m位人体在t时刻的关节点i，在正式开始训练的之前，需要对视频骨架序列S进行多样化预处理，得到单模态交互数据，并对不同的单模态交互数据进行融合，得到多模态交互数据，骨架关节点的三维坐标描述可通过深度摄像机或者人体姿态检测算法获得，运动速度流、交互信息流、交互运动速度流的定义公式如下：运动速度流：运动速度流定义为相邻两帧中，相同人体的相同关节点坐标之间差值，由于运动速度差是第t帧与第t-1帧的差值，那么计算得到的运动速度流就会少了第0帧的运动速度信息，所以第0帧的运动速度信息通过填补0元素的方式来扩充矩阵，定义在第m位人体的第t帧的关节点i坐标为：Jm，t，i＝xm，t，i，ym，t，i，zm，t，i则在第t-1帧的关节点i坐标为：Jm，t-1，i-xm，t-1，i，ym，t-1，i，zm，t-1，i因此相邻两帧的关节运动速度流表达为：Vm，t，i＝Jm，t，i-Jm，t-1，i＝xm，t，i-xm，t-1，i，ym，t，i-ym，t-1，i，zm，t，i-zm，t-1，i2交互信息流：交互信息流定义为相同视频帧中，不同人体相同关节点之间的差值，定义在第m位人体的第t帧的关节点i坐标为：Jm，t，i＝xm，t，i，ym，t，i，zm，t，i则在第n位人体的第t帧的关节点i坐标为：Jn，t，i＝xn，t，i，yn，t，i，zn，t，i因此不同人体间的交互信息流表达为：Mk，t，i＝Jm，t，i-Jn，t，i＝xm，t，i-xn，t，i，ym，t，i-yn，t，i，zm，t，i-zn，t，i3交互运动速度流：交互运动速度流定义为相同视频帧中，不同人体的相同关节点间运动速度流之间的差值，定义在第m位人体的第t帧的运动速度流为：Vm，t，i＝αm，t，i，βm，t，i，γm，t，i则在第n位人体的第t帧的运动速度流为Vn，t，i＝αn，t，i，βn，t，i，γn，t，i因此不同人体的交互运动速度流表达为：MVk，t，i＝Vm，t，i-Vn，t，i＝αm，t，i-αn，t，i，βm，t，i-βn，t，i，γm，t，i-γn，t，i4结合式2和式4计算得到交互运动速度流，同时结合式3得到交互信息流，对交互运动速度流和交互信息流进行堆叠融合，得到多模态交互数据，多模态交互数据融合定义如下：InterFusion＝{MVk，t，i+Mk，t，i|k＝1，...，2；t＝1，...，T；i＝1，...，I}5。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广州大学，其通讯地址为：510006 广东省广州市大学城外环西路230号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。