买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:杭州海康威视数字技术股份有限公司
摘要:本申请涉及视觉问答技术领域,公开了视觉问答方法、装置、设备、存储介质及产品,包括:对视觉问题数据进行特征提取,生成视觉问题数据对应的多模态特征数据;根据多模态特征数据在预设模板库中进行查找,获得与多模态特征数据相匹配的目标示例问答数据;根据目标示例问答数据构建模型提示词;将模型提示词及视觉问题数据输入至大语言模型,以使大语言模型在模型提示词的指导下,根据视觉问题数据生成视觉问答结果。由于可根据视觉问题数据对应的多模态特征数据查找数据构建模型提示词,通过模型提示词对大语言模型进行指导,保证即使输入视觉类文档等包含图像的数据,大语言模型仍旧可以正常进行问答。
主权项:1.一种视觉问答方法,其特征在于,所述方法包括:对视觉问题数据进行特征提取,生成所述视觉问题数据对应的多模态特征数据;根据所述多模态特征数据在预设模板库中进行查找,获得与所述多模态特征数据相匹配的至少一个目标示例问答数据,所述预设模板库包括多个示例问答数据以及各示例问答数据对应的标准多模态特征数据;根据所述至少一个目标示例问答数据构建模型提示词;将所述模型提示词及所述视觉问题数据输入至大语言模型,以使所述大语言模型在所述模型提示词的指导下,根据所述视觉问题数据生成视觉问答结果。
全文数据:
权利要求:
百度查询: 杭州海康威视数字技术股份有限公司 视觉问答方法、装置、设备、存储介质及产品
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。