买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中山大学附属第五医院

摘要：本发明提供一种基于SAM大模型的甲状腺肿物超声图像识别方法和系统，方法包括：获取甲状腺肿物超声图像数据集并进行标签标注和预处理；建立用于甲状腺肿物超声图像识别的SAM大模型；利用标注后的数据集对SAM大模型进行微调，之后利用预处理后的数据集进行迭代优化训练，获取训练好的SAM大模型；获取待识别的甲状腺肿物超声图像，利用训练好的SAM大模型进行甲状腺肿物超声图像的识别；本发明以SAM大模型为基础，针对甲状腺肿物识别任务进行改进，能够更加灵活地处理各种超声甲状腺癌症筛查场景，而且能够更加准确地识别甲状腺病变部位的大小和形状，并进一步提高甲状腺肿物良性和恶性的分类精度。

主权项：1.一种基于SAM大模型的甲状腺肿物超声图像识别方法，其特征在于，包括以下步骤：S1：获取甲状腺肿物超声图像数据集；对所述甲状腺肿物超声图像数据集进行真实标签标注，获取标签标注后的甲状腺肿物超声图像数据集，所述真实标签包括良性肿物和恶性肿物；对所述标签标注后的甲状腺肿物超声图像数据集进行预处理，获取预处理后的甲状腺肿物超声图像数据集；S2：建立用于甲状腺肿物超声图像识别的SAM大模型；所述SAM大模型包括：Tiny-Vit图像编码器、提示编码器和掩码解码器；所述Tiny-Vit图像编码器和提示编码器的输出均与掩码解码器的输入连接；所述提示编码器的提示方式为点和边界框结合的提示方式；所述Tiny-Vit图像编码器的结构包括依次连接的：线性投射层、若干个结构相同且依次连接的注意力块，以及Transformer编码器；每个所述注意力块的结构均包括依次连接的：第一归一化层、第一多头注意力层、第二归一化层和多层感知机MLP；所述第一归一化层的输入还与第一多头注意力层的输出构成残差加和连接；所述第二归一化层的输入还与多层感知机MLP的输出构成残差加和连接；所述Transformer编码器的结构包括依次连接的：第二多头注意力层、第三归一化层、前馈神经网络层和第四归一化层；所述第二多头注意力层的输入还与第三归一化层的输入连接；前馈神经网络层的输入还与第四归一化层的输入连接；S3：利用标签标注后的甲状腺肿物超声图像数据集对所述SAM大模型进行微调，获取微调后的SAM大模型；所述微调包括：固定掩码解码器的参数，更新Tiny-Vit图像编码器和提示编码器的参数；S4：将预处理后的甲状腺肿物超声图像数据集输入微调后的SAM大模型中进行迭代优化训练，获取训练好的SAM大模型，包括：S4.1：将预处理后的甲状腺肿物超声图像输入微调后的Tiny-Vit图像编码器中获取图像嵌入向量，将图像嵌入向量与真实掩码图像进行卷积操作，获取卷积图像；S4.2：利用微调后的提示编码器获取提示编码，将所述卷积图像与提示编码共同输入掩码解码器中进行解码，获取预测掩码图像；S4.3：设置总损失函数，利用预测掩码图像与真实掩码图像计算总损失函数值，并根据计算结果更新微调后的SAM大模型的参数；S4.4：判断所述总损失函数值是否小于预设阈值，若小于，则获取训练好的SAM大模型；否则，重复步骤S4.1~S4.4；S5：获取待识别的甲状腺肿物超声图像，将待识别的甲状腺肿物超声图像输入训练好的SAM大模型中，获取甲状腺肿物识别结果，完成甲状腺肿物超声图像的识别。

全文数据：

权利要求：

百度查询： 中山大学附属第五医院 基于SAM大模型的甲状腺肿物超声图像识别方法和系统