龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京卓视智通科技有限责任公司
摘要：本发明涉及多模态大模型技术领域，具体公开一种视频理解方法、系统、电子设备和存储介质，包括：按照预设抽帧间隔对视频进行抽帧，得到多个视频帧并编码，得到多个初始编码特征；计算每两个时间相邻的初始编码特征的余弦相似度，并将余弦相似度不大于第一阈值的初始编码特征确定为目标编码特征；当目标编码特征的数量不小于第二阈值时，构建初始时序编码特征并压缩，得到目标时序编码特征；对目标时序编码特征进行映射，得到映射编码特征，并将映射编码特征与目标视频的问题文本token序列输入至训练好的大语言模型，得到回答文本。本发明能够有效提取视频的重要变化信息，避免了信息丢失，从而提升了大语言模型对于视频理解的准确率与效率。
主权项：1.一种视频理解方法，其特征在于，包括：按照预设抽帧间隔，对目标视频进行抽帧，得到多个目标视频帧并分别进行编码，得到多个初始视频帧编码特征；计算每两个时间相邻的初始视频帧编码特征之间的余弦相似度，并将余弦相似度不大于第一阈值的两个时间相邻的初始视频帧编码特征确定为目标视频帧编码特征；当目标视频帧编码特征的数量不小于第二阈值时，构建表征所有目标视频帧编码特征的初始时序编码特征并进行特征压缩，得到目标时序编码特征；对所述目标时序编码特征进行映射，得到映射编码特征，并将所述映射编码特征与所述目标视频对应的问题文本的token序列输入至训练好的大语言模型，得到所述问题文本对应的回答文本。
全文数据：
权利要求：
百度查询： 北京卓视智通科技有限责任公司 一种视频理解方法、系统、电子设备和存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号