买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜杭州电子科技大学信息工程学院;杭州电子科技大学申请的专利一种基于Transformer和错位对齐策略的小样本动作识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116503945B 。

龙图腾网通过国家知识产权局官网在2025-04-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310471308.3，技术领域涉及：G06V40/20；该发明授权一种基于Transformer和错位对齐策略的小样本动作识别方法是由张海平;胡泽鹏;徐世杰;管力明;朱崇磊设计研发完成，并于2023-04-27向国家知识产权局提交的专利申请。

本一种基于Transformer和错位对齐策略的小样本动作识别方法在说明书摘要公布了：本发明公开了一种基于Transformer和错位对齐策略的小样本动作识别方法，包括：获取查询集视频和支持集视频；获得对应的第一图像集和第二图像集；对图像集进行采样并裁剪，裁剪后的第一图像集形成第一图像序列，每个裁剪后的第二图像集形成一个第二图像序列，将第一图像序列和一个第二图像序列视为一组；建立动作识别模型，动作识别模型包括依次连接的改进ResNet网络模型、时空特征编码器和多粒度特征对齐模块，并获取每组第一图像序列和第二图像序列对应的多粒度动作概率；采用分类器获取全部多粒度动作概率中概率最高的动作类别作为对应待识别动作类别视频的动作识别结果。该方法能够提升小样本动作视频分类的准确度和效率。

本发明授权一种基于Transformer和错位对齐策略的小样本动作识别方法在权利要求书中公布了：1.一种基于Transformer和错位对齐策略的小样本动作识别方法，其特征在于：所述基于Transformer和错位对齐策略的小样本动作识别方法包括如下步骤：S1、获取查询集视频和支持集视频，所述查询集视频包括一个待识别动作类别视频，所述支持集视频包括多个已知动作类别视频；S2、对待识别动作类别视频和各已知动作类别视频分别进行图像帧提取，记待识别动作类别视频提取的图像帧为第一图像集，记每个已知动作类别视频提取的图像帧为一个第二图像集；S3、分别按照预设采样帧数对第一图像集和各第二图像集进行采样，并将采样后的图像帧裁剪为相同尺寸，裁剪后的第一图像集形成第一图像序列，每个裁剪后的第二图像集形成一个第二图像序列，将第一图像序列和一个第二图像序列视为一组；S4、建立动作识别模型，所述动作识别模型包括依次连接的改进ResNet网络模型、时空特征编码器和多粒度特征对齐模块，并对每组第一图像序列和第二图像序列执行如下操作：S41、采用改进ResNet网络模型分别对第一图像序列和第二图像序列进行特征提取，对应获得第一基础时空特征和第二基础时空特征，所述改进ResNet网络模型为将ResNet网络的瓶颈层中至少一个卷积层替换为膨胀卷积层；S42、分别将第一基础时空特征和第二基础时空特征输入到时空特征编码器，对应获得第一多粒度视频特征和第二多粒度视频特征，所述第一多粒度视频特征包括查询片段粒度特征qs和查询帧粒度特征qf，所述第二多粒度视频特征包括支持片段粒度特征vs和支持帧粒度特征vf；S43、将第一多粒度视频特征和第二多粒度视频特征输入多粒度特征对齐模块，获取对应的多粒度动作概率，具体如下：根据支持片段粒度特征vs获取对应的支持偏移特征公式如下： 式中，Conv表示三维卷积操作，Shfit表示移位操作；计算当前已知动作类别视频所属动作类别的第一动作原型特征和第二动作原型特征公式如下： 式中，Sc表示支持集视频中动作标签为c的已知动作类别视频形成的集合，c为当前已知动作类别视频所属动作标签，c∈C，C为支持集视频的全部动作标签，ct为Sc中的第t个已知动作类别视频，表示第t个已知动作类别视频的支持偏移特征，t＝1～N，N为Sc中已知动作类别视频的总数，表示第t个已知动作类别视频的支持帧粒度特征；计算当前待识别动作类别视频属于动作标签c的片段粒度似然概率Pscp＝c|qs和帧粒度似然概率Pfcp＝c|qf，公式如下： 式中，||·||表示距离相似度，cp表示当前待识别动作类别视频的预判标签；将片段粒度似然概率Pscp＝c|qs和帧粒度似然概率Pfcp＝c|qf进行聚合，获得对应的多粒度动作概率；所述时空特征编码器，执行如下操作：S421、分别将第一基础时空特征和第二基础时空特征保持时空顺序输入Transformer模块，对应获得查询片段粒度特征和支持片段粒度特征其中，第i个查询片段粒度和第i个支持片段粒度计算如下： 式中，Qk表示Transformer模块第k个注意力头的查询权重，Kk表示Transformer模块第k个注意力头的键权重，Vk表示Transformer模块第k个注意力头的值权重，k＝1～8，vi表示当前已知动作类别视频的第i个片段，vj表示当前已知动作类别视频的第j个片段，qi表示当前待识别动作类别视频的第i个片段，qj表示当前待识别动作类别视频的第j个片段，i,j＝1～n，n为已知动作类别视频或待识别动作类别视频的片段总数；S422、分别将查询片段粒度特征qs和支持片段粒度特征vs进行平均池化处理，对应获得查询帧粒度特征和支持帧粒度特征其中，第i个查询帧粒度和第i个支持帧粒度计算如下： 式中，Avg为平均池化函数；S5、采用分类器获取全部多粒度动作概率中概率最高的动作类别作为对应待识别动作类别视频的动作识别结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学信息工程学院;杭州电子科技大学，其通讯地址为：311305 浙江省杭州市临安区青山湖街道杭电路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。