龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：山东科技大学
摘要：本发明属于自然语言处理技术领域，公开了一种引入外部知识的农作物病害视觉问答方法、系统及设备。本发明在农作物病害知识库中检索显性知识文本，在预训练的大语言模型中检索隐性知识文本，并且在这两种外部知识文本的检索过程中使图像信息得到深度参与，降低了文本偏差；使用目标检测模型和图像字幕生成模型处理图像，然后使用图像特征提取器提取图像特征，使用大型语言编码器模型提取问题文本、显性知识和隐性知识文本的文本特征；最后将这两种不同模态的特征输入编码器‑解码器的网络中，最后生成答案。本发明能够有效回答有关农作物病害图像的视觉特征以及涉及与病害图像相关的外部知识的问题。
主权项：1.一种引入外部知识的农作物病害视觉问答方法，其特征在于，包括如下步骤：步骤1.基于外部知识的农作物病害视觉问答数据采集、预处理和标注，针对农作物病害图像标注涉及外部知识的问题，得到基于外部知识的农作物病害视觉问答数据集；步骤2.搭建基于外部知识的农作物病害视觉问答模型，其包括图像特征提取器、目标检测模型、图像字幕生成模型、文本特征提取器、注意力机制、编码器以及解码器；首先利用预训练的图像特征提取器提取农作物病害图像特征，并利用目标检测模型和图像字幕生成模型处理农作物病害图像，得到图像字幕信息；其中图像字幕信息为带有目标框、目标标签和对图像的文本描述；步骤3.使用步骤2的农作物病害图像特征在农作物病害知识库中检索农作物病害显性知识文本，使用问题文本、图像字幕文本以及目标标签检索农作物病害隐性知识文本；步骤4.对步骤2提取的农作物病害图像特征，利用注意力机制对图像模态内的密集交互进行建模，得到具有注意力重点的图像特征；步骤5.利用预训练的文本特征提取器提取问题特征、步骤2中图像字幕文本特征及步骤3中农作物病害显性知识和隐性知识文本特征，与步骤4中经过注意力机制处理的图像特征进行编码，得到编码后的融合特征；步骤6.利用步骤5所得到的融合特征，输入到解码器中输出答案。
全文数据：
权利要求：
百度查询： 山东科技大学 引入外部知识的农作物病害视觉问答方法、系统及设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号