买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于多模态深度学习的胃癌TNM分期预测系统，包括数据采集模块、图像预处理模块、文本预处理模块、预测模型训练模块和预测模块，上述模块应用时包括以下步骤：CT图像与文本数据的采集与数据清洗；对CT图像进行预处理，提取标记数据，建立mask图像并与原图相乘后获得有效识别区域；对文本数据利用机器学习中的XGBoost和LightGBM算法进行预训练，获得特征重要性排序，从而获得有效数据样本；对图像与文本数据的深浅层次特征进行深度学习，利用卷积神经网络进行训练，获得正确TNM时期的分类结果。本发明较传统人工识别有着更多的模态参考依据，具有非常高的识别准确度，可以减少专业医生的业务负担，解决我国医疗资源不均衡的现况。

主权项：1.一种基于多模态深度学习的胃癌TNM分期预测系统，其特征在于，包括以下模块：数据采集模块，用于采集胃癌患者脱敏数据，整理出CT图像数据和文本数据，并根据临床事件把TNM时期分别分为T期1-6期，N期1-5期，M期1-2期；图像预处理模块，用于对CT图像数据进行预处理，提取标记数据，建立mask图像，设定Hu值，匹配mask图像和原始图像，获得有效识别区域；文本预处理模块，用于对文本数据进行预处理，对缺失值进行填充，进行异常值检测，对离群点进行单独处理；预测模型训练模块，用于将图像预处理模块获得的有效识别区域图像数据与文本预处理模块预处理后的文本数据作为训练数据，训练预测模型，所述的预测模型是一个多层次组合神经网络，其主要框架是基于ResNet34的卷积神经网络，训练过程中的损失函数采用交叉熵损失函数，具体为：首先对图像数据进行训练，图像经过两条支路的训练，一条支路通过ResNet34的主干网络进行深层图像特征提取；另一条支路通过一个8层的卷积神经网络进行浅层图像特征提取，其包括3个卷积层、3个池化层和2个全连接层，在提取完浅层图像特征后，该支路在第二个全连接层前加入文本数据，进行融合训练；在经历深层特征训练和浅层特征训练两条支路之后，模型通过一个全连接层进行分类器分类；预测模块，用于将待预测的胃癌患者脱敏数据输入预测模型训练模块练好的预测模型中，得到TNM分期结果；在文本预处理模块中，对文本数据还要利用机器学习中的XGBoost和LightGBM算法进行预训练，获得特征重要性排序，选择特征获得有效文本数据；在利用特征重要性排序选取有效文本数据后，预测模型训练模块将有效文本数据加入浅层图像特征提取支路的最后一个全连接层，连同图像浅层数据进行一次全卷积训练。

全文数据：

权利要求：

百度查询： 浙江大学 一种基于多模态深度学习的胃癌TNM分期预测系统