龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：腾讯科技(深圳)有限公司
摘要：本申请实施例提供一种CLIP模型的训练、推理方法、装置、设备和介质，在CLIP模型训练过程中，通过对样本对的图像描述信息进行对象解析，根据解析得到的对象集合对各对象生成视觉描述信息和测试提示信息，根据该图像描述信息获取样本对的原始文本特征，根据对象的视觉描述信息获取样本对的视觉特征，根据对象的测试提示信息获取样本对的测试提示特征；根据N个样本对的图像特征、原始文本特征、视觉特征和测试提示特征计算特征相似度。通过为图像描述信息中的对象生成视觉描述信息，提高了模型对尾部类别的识别性能，通过对齐图像描述、视觉描述和测试提示减少了训练阶段和测试阶段的分布偏移，提高了模型的泛化性能。
主权项：1.一种CLIP模型的训练方法，其特征在于，所述方法包括：将训练批次输入基于对比学习的语言图像预训练CLIP模型中，得到所述训练批次中包括的N个样本对的图像特征、原始文本特征、视觉特征和测试提示特征，每个样本对包括一个图像和所述图像的图像描述信息，所述CLIP模型用于：对所述图像描述信息进行对象解析得到所述样本对的对象集合，生成所述样本对的对象集合中的对象的视觉描述信息和测试提示信息，根据所述样本对的图像描述信息获取所述样本对的原始文本特征，根据所述样本对的对象集合中的对象的视觉描述信息获取所述样本对的视觉特征，根据所述样本对的对象集合中的对象的测试提示信息获取所述样本对的测试提示特征，根据所述样本对的图像获取图像特征，其中，所述视觉描述信息用于描述对象的外观，所述测试提示信息由对象的类别名称结合测试提示模版组成；根据所述N个样本对的图像特征、原始文本特征、视觉特征和测试提示特征计算任意两个样本对的特征相似度；获取所述N个样本对中任意两个样本对的软标签相似度；根据所述任意两个样本对的特征相似度和软标签相似度计算软标签对齐损失，根据所述软标签对齐损失更新所述CLIP模型。
全文数据：
权利要求：
百度查询： 腾讯科技(深圳)有限公司 CLIP模型的训练、推理方法、装置、设备和介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号