买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:先进计算与关键软件(信创)海河实验室
摘要:本发明涉及人工智能以及检索技术领域,具体公开了基于检索增强的医疗质控报告智能生成方法及系统,方法包括构建医疗影像质控的图文对数据;构建图像嵌入模型和文本嵌入模型;构建三元仿射变换器并训练;部署向量数据库;部署多模态大模型并训练;部署大语言模型;得到医疗质控报告智能生成系统;将图像和提示词输入所述医疗质控报告智能生成系统,生成医疗质控报告。本发明能够有效整合临床数据和最新医疗知识,智能高效的生成医疗质控报告,提高了医疗质控报告的可靠性和专业性。
主权项:1.一种基于检索增强的医疗质控报告智能生成方法,其特征在于,包括以下步骤:步骤1:构建医疗影像质控的图文对数据,所述图文对数据为成对的图像和文本,所述文本为所述图像的影像质控的问题描述;步骤2:构建图像嵌入模型和文本嵌入模型,所述图像嵌入模型用于将所述图像编码成一个固定长度的向量,得到图像表示,所述文本嵌入模型用于将所述文本编码成一个固定长度的文本向量,得到文本表示;步骤3:构建三元仿射变换器,利用提示词、图像表示和文本表示训练所述三元仿射变换器,得到训练好的三元仿射变换器,所述三元仿射变换器用于对齐提示词、图像表示和文本表示,将图像表示和文本表示映射到统一的向量空间;步骤4:部署向量数据库,所述向量数据库用于存储映射到统一的向量空间的所述图像表示和文本表示,成对的图像表示和文本表示通过唯一标识符进行绑定;步骤5:部署多模态大模型,基于检索增强辅助训练所述多模态大模型,得到训练好的多模态大模型;步骤6:部署大语言模型,所述大语言模型用于对所述训练好的多模态大模型输出的文本回答进行意图识别和槽位填充,生成质控报告;步骤7:将所述图像嵌入模型、训练好的三元仿射变换器、向量数据库、训练好的多模态大模型、大语言模型依次连接,所述图像嵌入模型与训练好的多模态大模型连接,得到医疗质控报告智能生成系统;将图像和提示词输入所述医疗质控报告智能生成系统,生成医疗质控报告。
全文数据:
权利要求:
百度查询: 先进计算与关键软件(信创)海河实验室 基于检索增强的医疗质控报告智能生成方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。