龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明一种基于CLIP模型语义信息提取和目标对齐的域泛化方法及系统，所述方法包括：输入检测图像至学生模型，获图像特征与分类预测。再将图像与文本输入教师模型，得图像、文本特征及分类预测，比较两模型预测，计算预测相似性损失。同时，比对学生模型图像特征与教师模型文本特征，得语义损失，并优化为空间一致性损失，利用文本特征表示的相对位置，结合三者损失，训练学生模型的特征编码器，以提取语义信息。测试时，使用记忆库更新分类器，促进目标域对齐。检测图像经优化编码器与对齐分类器，得到分类结果，整个流程紧凑高效，显著提升模型在目标域的表现；通过训练阶段的语义信息提取对齐和测试阶段的目标对齐，实现了更好的域泛化性能。
主权项：1.一种基于CLIP模型语义信息提取和目标对齐的域泛化方法，其特征在于，包括以下步骤：获取检测图像和检测图像对应的文本描述，将所述检测图像输入预设的学生模型中，将所述检测图像和检测图像对应的文本描述输入教师模型，教师模型基于训练CLIP模型；基于所述学生模型，其特征编码器对检测图像进行特征提取，得到图像的特征表示；基于教师模型的文本编码器对文本描述进行文本特征提取，得到文本特征表示；分别通过学生模型和教师模型的预训练CLIP分类器获取对应的分类预测；基于两个模型分类预测，通过最小化分类预测之间的相似性，获取分类预测相似性损失；基于所述图像的特征表示和所述文本特征表示，通过最小化图像的特征表示和文本特征表示的差异，获取语义损失；利用源域文本特征表示的相对位置来优化所述语义损失；基于优化后的语义损失和所述图像的特征表示和文本特征表示，修改CLIP的通用文本输入，导出域特定文本特征表示，最小化域特定文本特征表示，分别到所述图像的特征表示和文本特征表示之间的距离，得到空间一致性损失；基于所述的预测相似性损失、语义损失和空间一致性损失，采用动态加权获取最终的训练损失，进行训练得到学生模型中具有语义信息提取能力的特征编码器；在测试阶段，使用引入目标域统计分布的记忆库更新分类器，促进目标域对齐，获得最终具有目标对齐的分类器；基于所述语义信息提取的特征编码器和目标对齐的分类器，得到检测图像的分类结果。
全文数据：
权利要求：
百度查询： 西安交通大学 基于CLIP模型语义信息提取和目标对齐的域泛化方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号