首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于动作片段排序的弱监督行为定位方法和装置 

申请/专利权人:中国科学院信息工程研究所

申请日:2021-09-27

公开(公告)日:2024-07-05

公开(公告)号:CN114049581B

主分类号:G06V20/40

分类号:G06V20/40;G06V40/20;G06V10/62;G06V10/56;G06V10/764;G06V10/82;G06N3/0895

优先权:

专利状态码:有效-授权

法律状态:2024.07.05#授权;2022.03.04#实质审查的生效;2022.02.15#公开

摘要:本发明公开了一种基于动作片段排序的弱监督行为定位方法和装置,包括提取视频集中各视频的RGB特征与光流特征后,进行自注意力计算;使用自注意力RGB特征与自注意力光流特征,进行视频帧排序,得到每一视频的若干视频特征表示;利用视频特征表示,对一分类器及对抗网络进行共同训练,生成视频分类器;采用视频分类器对目标视频的自注意力RGB特征与自注意力光流特征进行分类,并根据视频分类结果与自注意力权重向量进行时序类别激活映射计算,以获取行为定位结果。本发明可以对复杂的视频动作和背景的视觉‑运动相关性灵活而明确的建模,利用对抗学习框架学习更加鲁棒的视频分类模型,降低计算复杂度及时序标注的时间。

主权项:1.一种基于动作片段排序的弱监督行为定位方法,其步骤包括:1提取视频集中各视频的RGB特征与光流特征后,进行自注意力计算,获取自注意力权重向量、自注意力RGB特征与自注意力光流特征;2使用自注意力RGB特征与自注意力光流特征,进行视频帧排序,得到每一视频的若干视频特征表示;3利用视频特征表示,对一分类器及对抗网络进行共同训练,生成视频分类器;4采用视频分类器对目标视频的自注意力RGB特征与自注意力光流特征进行分类,并根据视频分类结果与自注意力权重向量进行时序类别激活映射计算,以获取行为定位结果。

全文数据:

权利要求:

百度查询: 中国科学院信息工程研究所 一种基于动作片段排序的弱监督行为定位方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。