龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：东北大学
摘要：本发明属于计算机视觉技术领域，公开了一种基于图像‑文本预训练模型的少样本分类方法。对于基元级最优运输，提出基于原型距离的图像块重加权机制。将原型和图像块之间的欧氏距离转换为每个图像块的权重，从而为图像块分配不同的权值。针对提示级阶段，提出级联最优运输模块，不仅考虑少样本图像‑文本特征之间的最优运输，还考虑零样本和少样本图像‑文本特征之间的交叉最优运输。提出一种基于原型的非平衡一致性损失函数来监督网络。该损失函数分为原型距离损失和非平衡一致性损失。在Caltech01、DTD、EuroSAT数据集上进行测试，从实验结果可以证明本发明所提出的网络模型性能优于目前最先进的算法，验证了算法的有效性。
主权项：1.一种基于图像-文本预训练模型的少样本分类方法，其特征在于，建立少样本分类网络进行分类；所述少样本分类网络为四分支架构；第一分支为零样本文本分支，第二分支为少样本图像分支，第三分支为少样本文本分支，第四分支为零样本图像分支；零样本文本分支以不可学习的文本作为输入，输出为不可学习的基元级文本特征和不可学习的提示级文本特征；零样本图像分支以不可学习的图像作为输入，输出为不可学习的基元级图像特征及其原型，以及不可学习的提示级图像特征及其原型；少样本图像分支以可学习的图像作为输入，输出为可学习的基元级图像特征和可学习的提示级图像特征；少样本文本分支以可学习的文本作为输入，输出为可学习的基元级文本特征和可学习的提示级文本特征；零样本文本分支和零样本图像分支分别由多模态特征提取模块、提示级最优运输模块和相似度计算模块组成；少样本文本分支和少样本图像分支分别由多模态特征提取模块、基元级最优运输模块、提示级最优运输模块和相似度计算模块组成；少样本分类网络的优化过程通过三部分损失函数来完成，分别为交叉熵损失函数、非平衡一致性损失函数和提示级原型距离损失函数。
全文数据：
权利要求：
百度查询： 东北大学 一种基于图像-文本预训练模型的少样本分类方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号