买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏正方交通科技有限公司

摘要：本发明涉及计算机视觉技术领域，尤其涉及一种基于公开大模型进行语义分割数据集标注的方法，通过使用SwinTransformer和BERT作为主干网络，有效地提取图像和文本的特征，并结合标注预测和图像分割技术，提高了标注的效率和准确性。

主权项：1.一种基于公开大模型进行语义分割数据集标注的方法，其特征在于：包括如下步骤：S1、图像特征提取：使用SwinTransformer作为图像的主干网络，对输入图像进行特征提取，得到图像特征F；S2、文本特征提取：增加输入图像对应的文本提示，使用BERT作为文本的主干网络，对文本提示进行特征提取，得到文本特征T；S3、特征融合：将图像特征F和文本特征T进行融合，得到融合特征G；S4、基于融合特征G，通过多个卷积层进行标注预测，得到预测结果Y，预测结果Y中的坐标形成边界框；S5、将预测结果Y中的坐标传入SAM模型，进而获取预测图像的掩码，得到最终的图像分割坐标；S6、在原始图像上绘制最终的图像分割坐标和边界框，并保存到输出目录；S7、将预测图像的掩码数据和边界框信息保存为图片和JSON格式的标注文件；通过损失函数L衡量预测结果和真实标注之间的差异；L=LCE+λLDice； ； ；其中：LCE为交叉熵损失，LDice为Dice损失，λ为平衡交叉熵损失和Dice损失的权重，N为类别的数量，Yi是预测结果的第i个像素，是真实标注的第i个像素，Ytrue是真实的分割图；在步骤S4中，预测结果Y的模型为：Y=W×G+b；其中：W是卷积层的权重矩阵，b是偏置项；预测结果Y包括目标的类别和预测结果Y的坐标；通过梯度下降调整模型参数，以最小化损失函数L，在每次迭代中，计算损失函数L关于模型参数的梯度，然后更新模型参数以减少损失，执行反向传播算法，根据梯度更新模型的W和b；在步骤S1中，具体包括：S1-1、初始化SwinTransformer模型，设置SwinTransformer模型的参数，参数包括模型的层数、头的数量和模型的分辨率；S1-2、对输入图像I进行预处理，包括缩放和归一化以适应SwinTransformer的输入要求；S1-3、使用SwinTransformer对输入图像I进行特征提取，SwinTransformer通过自注意力机制和层次化的表示，逐步提取图像的多尺度特征，对于每一层，计算公式表示为：Fi=SwinFi-1；其中，Fi是第i层的特征表示，Fi-1是上一层的特征表示；S1-4、多尺度特征融合：在提取了多尺度的特征表示后，通过特征融合技术将不同层的特征结合起来，以获得更丰富的特征表示；S1-5、经过多尺度特征融合后，得到最终的图像特征表示F；在步骤S1-4中，具体包括：S1-4-1、构建一个特征金字塔，其中每个层级代表不同分辨率的特征图，低层级提供精细的细节信息，高层级提供抽象的全局信息；S1-4-2、将高层级的特征图通过上采样操作，增加其分辨率，使其与低层级的特征图尺寸匹配，上采样操作包括双线性插值和转置卷积；S1-4-3、将上采样后的高层级的特征与低层级的特征直接拼接在一起；S1-4-4、通过可学习的权重将不同层级的特征进行加权求和；S1-4-5、使用网络结构来融合不同层级的特征，得到多尺度特征；S1-4-6、在融合了多尺度特征之后，通过一些细化操作包括额外的卷积层、归一化层或激活函数来进一步提取特征；S1-4-7、多尺度预测通过投票或平均进行融合，得到最终的预测结果；S1-4-8、引入跨尺度连接这种双向的信息流动机制，使得高层级的特征影响低层级的决策，而且低层级的详细信息也能反馈到高层级，从而增强高层级的特征表示；S1-4-9、通过引入注意力机制来动态地选择不同尺度特征中最重要的部分进行融合。

全文数据：

权利要求：

百度查询： 江苏正方交通科技有限公司 一种基于公开大模型进行语义分割数据集标注的方法