龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：江苏师范大学
摘要：本发明公开一种基于视觉提示的连续学习算法，包括：全局提示池模型，实例提示生成器模型以及多模态紧凑双线性特征融合结构。本方法引入全局信息利用任务之间共享的知识指导模型推理训练，合理的对当前实例级表征应用多模态紧凑双线性融入全局知识，从而减少训练和测试时的偏差，并且缓解对过去任务数据的灾难性遗忘。本方法采用少量的可学习提示参数可以帮助深度学习模型更好地理解和利用输入数据不同层次的信息，而且本模型使用实例表征可以更好地适应不同类型和不同变化程度的目标域数据，从而提高模型的泛化能力和鲁棒性。
主权项：1.基于视觉提示的连续学习算法，采用多粒度不同水准的特征信息增强视觉提示模型的性能，其特征在于，包括以下步骤：步骤1，对目标域图像进行预处理，按比例划分为训练集、验证集，按照类别增量学习的设置方法对数据集按照任务划分；步骤2，使用冻结的预训练ViT模型，得到当前输入图像的查询特征，然后根据键值匹配策略从全局提示池中选择相对应的个全局提示，将选择的全局提示进行拼接组合，将其嵌入ViT多头注意力层的输入中，指导模型编码目标域的共享知识；步骤3，利用实例提示生成器根据ViT多头注意力层的输入生成实例水平的提示，并通过匹配策略得到图像所属的任务，通过查字典操作对生成的实例提示附加额外的任务知识，得到附加任务知识的实例提示，和ViT相应的多头注意力层的输入进行拼接操作，从而指导实例级模型更加精确的推理决策；步骤4，对于全局提示池模型的输出和实例提示模型的输出，使用紧凑双线性结构进行多模态特征融合，获取细粒度的表征。将得到的细粒度表征输入分类器中，得到推理结果；步骤5，使用训练阶段得到的权重参数文件对验证集进行验证，验证集评估出来的效果用来调整超参数，最后进行测试并对结果进行评估。
全文数据：
权利要求：
百度查询： 江苏师范大学 基于视觉提示的连续学习算法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号