龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：天津市国瑞数码安全系统股份有限公司
摘要：本发明提供一种基于强弱监督的多模态检测方法和系统，能够在不损失识别精度的条件下，通过构建一种强监督和弱监督的两种条件架构来进行音频‑视频多模态融合检测，以此实现面向深度虚假音视频的检测，克服现有检测方法多侧重于单一模态的数据，很难全面检测包含不同模态的数据，以及现有在弱监督条件下的检测方法检测性能表现不佳的问题。
主权项：1.一种基于强弱监督的多模态检测方法，其特征在于，所述方法包括：将视频分为图像序列和音频；将图像序列和音频进行统一处理，提取出图像帧特征和音频特征；利用真实数据与各模态下的虚假数据进行多模态虚假数据的生成；设定虚假概率P的大小；对构建虚假数据集所使用的数据进行筛选，所述筛选包括：选择虚假数据视频模态内容与真实数据视频模态内容具有相同背景的虚假数据，按照数据长度从大到小进行排序，从中选取数据长度前N条，所述N的取值大小与设定的虚假概率P大小正关联；确定虚假数据的位置并生成对应的真假标签，其包括以下步骤：对于每条虚假数据，使用最短的数据长度作为基准，切分得到时域上的切片；根据虚假概率，针对每个切片内的单一模态分别决定是否为虚假数据，得到多个单模态虚假切片序列；检测到多个单一模态同时虚假的切片，由此确定多个单模态虚假切片序列的时刻对应关系，生成具有匹配关系的多模态虚假切片序列组，构建虚假数据集；由所述多模态虚假切片序列组得到边界信息，根据获得的边界信息生成真假标签；基于弱监督条件构建跨模态检测器，根据所述真假标签对所述虚假数据集进行学习，实现对虚假内容在模态与时间上的定位；利用跨模态检测器，对所述图像帧特征和音频特征进行二分类处理，判断音视频数据是否经过虚假；基于强监督条件，以N为单位长度将视频划分为不同的片段，提取所述片段的图像帧特征和音频特征，再次调用跨模态检测器，对片段的图像帧特征和音频特征进行二分类处理，再次判断音视频数据是否经过虚假；结合两次判断的结果，输出检测结果。
全文数据：
权利要求：
百度查询： 天津市国瑞数码安全系统股份有限公司 基于强弱监督的多模态检测方法和系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号