龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京交通大学
摘要：本发明提供一种多模态模型表征优化的开放词汇分割方法及系统，属于计算机视觉技术领域，获取待分割的图像数据；利用预先训练好的多模态模型，对获取的图像进行处理，得到分割结果。本发明更好地优化了多模态任务中的视觉‑文本表征，使得同类视觉‑文本表征空间进行有效对齐；提出掩码敏感型损失在参数微调过程中约束分类得分和掩码质量保持一致，从而赋予视觉编码器局部感知能力，提升了模型在细粒度下游任务中的效果；引入了原预训练特征作为表征补偿，保证了在优化过程中预训练视觉‑语言模型的零样本能力；将文本表征和视觉表征进行交互，使得文本表征可以对于不同输入图像进行自适应增强，可有效提升开放词汇分割中视觉‑文本的对齐属性。
主权项：1.一种多模态模型表征优化的开放词汇分割方法，其特征在于，包括：获取待分割的图像数据；利用预先训练好的多模态模型，对获取的图像进行处理，得到分割结果；其中，训练所述多模态模型包括：在特征提取阶段，分别对图像、文本进行特征编码，其中视觉特征送入到先验掩码生成器，用于生成类无关先验掩码，文本特征用于分类；在特征交互阶段，依据内容依赖型表征迁移对视觉文本特征进行增强；基于掩码敏感型损失和表征补偿损失，通过参数微调赋予视觉编码器局部感知能力，同时对原视觉特征进行回放避免过拟合；通过端到端训练对视觉-文本表征进行协同优化，以获得更好的视觉文本对齐空间；直到模型测试结果符合预期或者达到训练次数。
全文数据：
权利要求：
百度查询： 北京交通大学 多模态模型表征优化的开放词汇分割方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号