买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开了一种基于报告生成模型的儿童中医寒热证型辅助辨别系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，计算机存储器中存储有训练好的报告生成模型和多模态分类模型；报告生成模型包括编码部分和解码部分；计算机处理器执行计算机程序时实现以下步骤：将儿童舌面图像输入训练好的报告生成模型，将编码部分第一步得到的图像特征向量X直接输入到解码部分，从而生成报告，并将报告规范化为键值模式；再将键值化的临床信息、问诊信息和报告生成模型生成的报告输入多模态分类模型，得到寒热证型分类结果。本发明对于望诊图像具有较高的解释性，同时提高寒热证型的判别准确率。

主权项：1.一种基于报告生成模型的儿童中医寒热证型辅助辨别系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，其特征在于，所述的计算机存储器中存储有训练好的报告生成模型和多模态分类模型；所述的报告生成模型包括编码部分和解码部分；训练过程中，编码部分和解码部分都分为三步；编码部分的第一步，使用ResNet模型对儿童舌面图像进行图像特征提取，得到图像特征Ximg；第二步，使用SENet模型对儿童舌面图像进行多标签学习，得到类激活图特征Fimg；第三步，使用Transformer模型对图像对应的专家诊断报告进行特征提取，得到1024个令牌，从而形成令牌嵌入层Y；解码部分的第一步，使用伪自注意力层，将图像特征Ximg、类激活图特征Fimg分别与报告形成的令牌嵌入层Y进行融合；第二步，将得到的融合令牌PSAXimg,Y、PSAFimg,Y分别输入到解码模块；第三步，将解码模块对应的两部分输出一起输入到交叉注意力层进行学习，最后通过线性连接层和Sotfmax层得到生成的报告；应用过程中，所述计算机处理器执行所述计算机程序时实现以下步骤：将儿童舌面图像输入训练好的报告生成模型，将编码部分第一步得到的图像特征向量X直接输入到解码部分，从而生成报告，并将报告规范化为键值模式；再将键值化的临床信息、问诊信息和报告生成模型生成的报告输入多模态分类模型，得到儿童中医寒热证型的分类结果。

全文数据：

权利要求：

百度查询： 浙江大学 一种基于报告生成模型的儿童中医寒热证型辅助辨别系统