买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学

摘要：本发明公开了基于多模态颈动脉数据的冠心病预测系统，包括：获取模块，其被配置为：获取待预测患者的图像数据和文本数据；其中，所述图像数据，是指颈动脉不同模态图像；特征提取模块，其被配置为：对每种模态的图像提取图像特征；文本特征提取模块，其被配置为：对文本数据提取文本特征；跨模态融合模块，其被配置为：将不同模态的图像特征进行特征融合，得到融合的图像特征；预测模块，其被配置为：将文本特征与融合的图像特征进行串联，将串联后的特征输入到训练后的冠心病分类模型中，得到冠心病预测结果。通过深度学习方法对多模态的颈动脉数据进行有效挖掘来预测冠心病。

主权项：1.基于多模态颈动脉数据的冠心病预测系统，其特征是，包括：获取模块，其被配置为：获取待预测患者的图像数据和文本数据；其中，所述图像数据，是指颈动脉不同模态图像；所述颈动脉不同模态图像，包括：颈动脉CT图像和颈动脉MR图像；所述文本数据，包括：数字化检测结果和症状描述语言；预处理模块，其被配置为：对获取的图像数据和文本数据进行预处理；其中，对图像数据进行预处理，是指对图像进行旋转处理和镜像处理增加数据集的数量；对文本数据进行预处理，是指对文本数据进行过采样，以增加数据集的数；特征提取模块，其被配置为：对每种模态的图像提取图像特征；具体通过特征提取网络进行特征提取；其中，所述特征提取网络，包括：依次连接的Resnet101主干网络、通道注意力机制层和卷积层；以Resnet101作为提取图像特征的主干网络，经过一个通道注意力机制和一个二维卷积使网络关注图像中更有意义的区域；文本特征提取模块，其被配置为：对文本数据提取文本特征；通过堆叠的Transformer编码器模块对非结构化文本数据进行有效的向量化表示，有效捕获长文本前后语序包含的丰富的语义关系，对医疗实体进行正确表示；核心由BERTEncoder组成，BERTEncoder由多层BERTLayer组成，每一层的BERTLayer都是Transformer中的EncoderBlock；每一个encoder层包含两层，一个自注意力机制层一个前馈神经网络层；跨模态融合模块，其被配置为：将不同模态的图像特征进行特征融合，得到融合的图像特征；具体采用的特征融合方式为：加权融合；所述加权融合中，是：先计算MR图像的查询向量Query和键向量Key；然后计算CT图像的值向量Value；计算Query和Key的相似度；将相似度概率化后，作为权重对CT图像的Value值进行加权求和，得到特征融合结果；所述查询向量Query或键向量Key，是由MR图像的特征图与查询向量或键向量的权重矩阵相乘得到；所述值向量Value，是由CT图像的特征图与值向量的权重矩阵相乘得到；所述将相似度概率化，具体是使用softmax函数进行概率化；预测模块，其被配置为：将文本特征与融合的图像特征进行串联，将串联后的特征输入到训练后的冠心病分类模型中，得到冠心病预测结果，实现冠心病的精准预测；所述训练后的冠心病分类模型；训练过程包括：构建分类模型；构建训练集，所述训练集为已知冠心病分类标签的颈动脉图像数据和文本数据；将训练集输入到分类模型中，对分类模型进行训练，得到训练后的冠心病分类模型。

全文数据：

权利要求：

百度查询： 山东大学 基于多模态颈动脉数据的冠心病预测系统