龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明提供一种基于光流蒸馏的压缩视频人体行为识别算法，本发明使用光流通过知识蒸馏的方式对网络训练进行监督，将双流网络中的时间流网络作为教师模型，将教师模型中的使用光流提取的运动信息蒸馏到空间流的学生模型中，学生模型为以RGB图像帧作为输入（即MPEG‑4视频压缩编码格式提取出视频中的I帧、运动向量和残差，将堆叠生成的P帧和原始视频提取的I帧作为网络模型的特征输入），这样的方式可以仅在训练的时候提取光流特征，而在推理和测试的过程中只需以视频帧作为输入，减少了光流提取时间，在保证效率的同时提高算法的性能。
主权项：1.一种基于光流蒸馏的压缩视频人体行为识别算法，其特征在于，包括以下操作步骤：步骤一：首先使用由完全相同的时间流网络和空间流网络组成的双流网络对压缩视频样本进行建模，并将时间流网络作为教师模型，将空间流网络作为学生模型；步骤二：采用光流作为高级别的特征对步骤一中获取的时间流网络的教师模型进行预训练，随后冻结网络权重，提取运动信息；步骤三：采用MPEG-4视频压缩编码算法从压缩视频样本中提取RGB图像帧，并将RGB图像帧输入至学生模型中，所述RGB图像帧包括MPEG-4视频压缩编码算法提取的I帧、运动向量和残差，其中，所述将RGB图像帧输入至学生模型中，包括：通过解耦模型将P帧中的所有运动向量回溯至前一时刻的I帧，同时将每个画面组中I帧后相似的多个P帧堆叠，形成堆叠的P帧结构体，使得每个P帧都只依赖于I帧而不依赖于其他的P帧，将堆叠生成的P帧和提取的I帧作为学生模型的特征输入；在步骤三中，还包括P帧的复原策略，所述复原策略具体为将采样出来的独立P帧每隔K帧抽取出一个P帧复原为完整的RGB图像帧作为I帧的空间流的输入，以增加I帧网络输入的样本量；步骤四：将教师模型中使用光流法提取的运动信息通过知识蒸馏的方式蒸馏到空间流网络的学生模型中，并对网络进行监督训练。
全文数据：
权利要求：
百度查询： 广州新华学院 基于光流蒸馏的压缩视频人体行为识别算法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号