买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明属于计算机视觉图像处理技术领域，公开一种通过熵最大化进行风格词多样化以实现域泛化的方法，分为两个阶段，第一阶段学习风格词，产生多样化风格词提示；第二阶段利用生成的多样化风格词提示作为CLIP文本编码器的输入，在特征空间内模拟视觉特征的多样性，引导图像编码器学习域不变特征，实现遥感目标识别的域泛化。本发明利用预训练的CLIP模型帮助分类网络在仅使用一个源域数据的情况下学习域不变特征。在第一阶段通过风格多样性约束和熵最大化约束生成包含多种风格的风格词提示；在第二阶段利用风格词提示在特征空间内模拟视觉特征的多样性，降低了分类网络对多样化图像数据的依赖性，提高了分类网络的域泛化性能。

主权项：1.一种通过熵最大化进行风格词多样化以实现域泛化的方法，其特征在于，该通过熵最大化进行风格词多样化以实现域泛化的方法分为两个阶段；第一阶段，利用CLIP的文本编码器学习多样化的文本提示；对于给定的源域图像及其对应标签即类别标识词，首先随机初始化风格词提示，并将其输入到CLIP的文本编码器中得风格词特征，然后将得到的风格词特征输送到分类头中得到当前输入对应的预测向量，其中分类头由池化层、扁平化层和全连接层组成；另外，将风格词提示与类别标识词相结合得到完整的文本提示，同样将文本提示输入CLIP的文本编码器生成文本特征，再经过分类头处理得到预测向量；其中，为了使风格词提示具有多样性，对CLIP的文本编码器输出的风格词特征添加风格多样性约束，强制不同风格词之间两两互不相同，从而对其多样性进行约束；同理，对于文本特征，也对其添加风格多样性约束以进一步增加风格词提示的多样性；因此，风格多样性约束对应的损失函数为： （1）其中，表示风格词提示的数量，表示第个风格词提示对应的风格词特征，表示第个完整文本提示对应的文本特征；理想化的风格词提示中不包含任何类别信息，因此，只使用风格词提示而没有与类别标识词结合作为输入产生的风格词特征中不包含任何类别信息，当它输入分类头生成预测向量时，是无法分辨出任何类别；对于预测向量，如果预测输入文本属于每一类概率都相同，此时就表示风格词提示无法分辨出类与类之间的区别，则说明风格词提示中不包含任何类别相关的信息；转化到数学计算上，即当预测向量自身的熵最大时，能满足风格词不包含类别信息的要求；基于此，对预测向量添加熵最大化约束： （2） （3）其中，表示第个风格词提示对应的预测向量的熵，表示它属于第类的概率，表示类别总数；为了避免风格词学习的是与类别信息无关的风格信息，对预测向量添加一项为分类损失作束，确保当风格词与类别标识词结合时能正确分辨出类别；分类损失为交叉熵损失： （4）其中，表示第个文本提示对应的真实标签，表示第个文本提示对应的预测标签；第一阶段的总损失函数为： （5）经过第一阶段的训练，得到包含各种不同风格样式信息的风格词提示；第二阶段则是利用得到的风格词提示帮助分类网络学习域不变特征；由于CLIP的文本特征和视觉特征在特征空间内是对齐的，因此利用包含多种风格信息的文本提示在特征空间内产生多样化特征，然后将视觉特征与之对齐，即可在仅使用一个源域图像的情况下在特征层次实现视觉特征的多样性而不需要额外使用其他域的图像；具体如下：将第一阶段得到的最终的风格词提示与类别标识词相结合得到完整的文本提示，并将输入CLIP的文本编码器得到文本特征，将源域图像输入分类网络得到图像特征；然后计算和的余弦相似度得到预测向量；除了对预测向量添加交叉熵损失以保证分类结果的正确性之外，额外添加三种损失作为训练过程中的约束；首先，对于不同类别的图像与同一文本提示之间得到的预测向量，添加正交损失以保证在特征空间内不同类别的图像之间产生的特征相互远离；其次，对于同一类别的图像与包含不同风格的文本提示之间得到的预测向量，添加一致性约束损失从而促使网络在优化的过程中只学习类别信息而忽视风格信息；最后，将源域图像输入到CLIP的视觉编码器中得到图像特征，然后在和之间添加蒸馏损失以帮助分类网络学习CLIP模型中包含的预训练知识； （6） （7） （8）其中，表示输入图像数量，表示包含第种风格词的文本提示与第个输入图像之间的预测结果，表示和之间的欧式距离，表示的均值，即，表示和之间KL散度，因此，第二阶段的总损失函数为： （9）。

全文数据：

权利要求：

百度查询： 大连理工大学 通过熵最大化进行风格词多样化以实现域泛化的方法