买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京百度网讯科技有限公司

摘要：本公开提供了一种跨模态检索模型处理方法、装置、设备、产品及介质，涉及人工智能技术领域，具体为计算机视觉、图像处理、深度学习等技术领域，可应用于智能安防、短视频等场景下。具体实现方案为：获取待训练的跨模态检索模型的样本对，所述样本对包括随机确定的两个原始训练样本；对所述样本对中的两个原始训练样本进行样本融合处理，获得融合训练样本；根据所述跨模态检索模型的原始训练样本和所述融合训练样本，对所述跨模态检索模型进行训练，获得目标检索模型；其中，所述目标检索模型用于查询与待查询内容相匹配的目标内容，所述待查询内容和所述目标内容的模态不同。

主权项：1.一种跨模态检索模型的训练方法，包括：获取待训练的跨模态检索模型的样本对，所述样本对包括随机确定的两个原始训练样本；对所述样本对中的两个原始训练样本分别对应的视频进行视频融合处理，获得融合视频，所述视频融合指的是将两个视频的同时间戳的视频帧相加计算处理，其中，视频融合处理过程中未对所述原始训练样本各自的视频进行修改；对所述样本对中的两个原始训练样本分别对应的文本描述信息进行文本融合处理，获得融合文本，其中，文本融合处理过程中未对所述原始训练样本各自的文本描述信息进行修改；根据所述融合视频和所述融合文本，确定融合训练样本；根据所述跨模态检索模型的原始训练样本和所述融合训练样本，确定参与所述跨模态检索模型训练的目标训练样本，所述目标训练样本包括所述原始训练样本和所述融合训练样本、或包括满足样本使用条件的所述原始训练样本和或所述融合训练样本；根据所述目标训练样本对所述跨模态检索模型进行训练，获得目标检索模型；其中，所述目标检索模型用于查询与待查询内容相匹配的目标内容，所述待查询内容和所述目标内容的模态不同；其中，所述对所述样本对中的两个原始训练样本分别对应的视频进行视频融合处理，获得融合视频，包括：按照预设的视频帧采样频率，确定至少一个目标采样时刻；从所述样本对的两个原始训练样本分别对应的视频中提取所述至少一个目标采样时刻分别对应的视频帧，获得两个原始训练样本分别在所述至少一个目标采样时刻对应的视频帧；将在所述至少一个目标采样时刻采集的两个原始训练样本分别对应的视频帧进行图像融合，得到所述至少一个目标采样时刻对应的至少一个目标图像；根据所述至少一个目标采样时刻对应的至少一个目标图像，生成所述融合视频。

全文数据：

权利要求：

百度查询： 北京百度网讯科技有限公司 跨模态检索模型处理方法、装置、设备、产品及介质