买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：先进计算与关键软件(信创)海河实验室

摘要：本发明涉及人工智能以及检索技术领域，具体公开了基于检索增强的医疗质控报告智能生成方法及系统，方法包括构建医疗影像质控的图文对数据；构建图像嵌入模型和文本嵌入模型；构建三元仿射变换器并训练；部署向量数据库；部署多模态大模型并训练；部署大语言模型；得到医疗质控报告智能生成系统；将图像和提示词输入所述医疗质控报告智能生成系统，生成医疗质控报告。本发明能够有效整合临床数据和最新医疗知识，智能高效的生成医疗质控报告，提高了医疗质控报告的可靠性和专业性。

主权项：1.一种基于检索增强的医疗质控报告智能生成方法，其特征在于，包括以下步骤：步骤1：构建医疗影像质控的图文对数据，所述图文对数据为成对的图像和文本，所述文本为所述图像的影像质控的问题描述；步骤2：构建图像嵌入模型和文本嵌入模型，所述图像嵌入模型用于将所述图像编码成一个固定长度的向量，得到图像表示，所述文本嵌入模型用于将所述文本编码成一个固定长度的文本向量，得到文本表示；步骤3：构建三元仿射变换器，利用提示词、图像表示和文本表示训练所述三元仿射变换器，得到训练好的三元仿射变换器，所述三元仿射变换器用于对齐提示词、图像表示和文本表示，将图像表示和文本表示映射到统一的向量空间；所述三元仿射变换器包括N个叠加的文本仿射器和N个叠加的图像提示词交叉仿射器，所述文本仿射器包括依次连接的自注意力模块A、归一化模块、前馈神经网络模块A和残差连接模块A，所述图像提示词交叉仿射器包括依次连接的自注意力模块B、交叉注意力模块、前馈神经网络模块B和残差连接模块B，所述文本表示为所述文本仿射器的输入，所述图像表示为图像提示词交叉仿射器的输入，所述提示词为所有所述交叉注意力模块的输入，所述文本仿射器的自注意力模块A和对应位置的所述图像提示词交叉仿射器的自注意力模块B共享权重；所述步骤3中，根据最后一个所述文本仿射器和最后一个所述图像提示词交叉仿射器的输出计算对比学习损失函数： 其中，表示自然指数的函数，表示温度系数，成对的图像表示和文本表示视作正样本，不成对的图像表示和文本表示视作负样本；所述三元仿射变换器的最后一个所述文本仿射器和最后一个所述图像提示词交叉仿射器均与前馈神经网络模块C连接，根据所述前馈神经网络模块C的输出计算图文判别损失函数： 其中，表示对所有的图像表示和文本表示的取值进行加权平均或期望的计算，表示数据样本全集，y表示输入是否来源于同一个图文对的真实标签，表示出现的概率，表示交叉熵函数；步骤4：部署向量数据库，所述向量数据库用于存储映射到统一的向量空间的所述图像表示和文本表示，成对的图像表示和文本表示通过唯一标识符进行绑定；步骤5：部署多模态大模型，基于检索增强辅助训练所述多模态大模型，得到训练好的多模态大模型；所述步骤5中，所述多模态大模型的训练过程为：将图像和提示词作为输入，所述图像经过图像嵌入模型得到图像表示，将所述图像表示和提示词输入训练好的三元仿射变换器，根据所述三元仿射变换器的输出结果从所述向量数据库中检索相似度最高的文本表示，根据相似度最高的文本表示得到成对的图像表示和文本表示，计算得到图像检索和文本检索，将所述图像检索和文本检索作为提示，与所述图像表示一起输入多模态大模型；检索的概率为： 其中，代表图像嵌入模型和文本嵌入模型的参数，表示图像表示，表示自然指数的函数，表示相似度，表示第个检索出的相似度最高的文本表示，，表示相似度最高的文本表示的总数量，表示图像检索，表示文本检索， 其中，表示通过唯一标识符与绑定的图像表示，表示将多个张量按照指定维度进行拼接；步骤6：部署大语言模型，所述大语言模型用于对所述训练好的多模态大模型输出的文本回答进行意图识别和槽位填充，生成质控报告；步骤7：将所述图像嵌入模型、训练好的三元仿射变换器、向量数据库、训练好的多模态大模型、大语言模型依次连接，所述图像嵌入模型与训练好的多模态大模型连接，得到医疗质控报告智能生成系统；将图像和提示词输入所述医疗质控报告智能生成系统，生成医疗质控报告。

全文数据：

权利要求：

百度查询： 先进计算与关键软件(信创)海河实验室 基于检索增强的医疗质控报告智能生成方法及系统