买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明公开了一种融合场景信息的弱监督SAR到可见光图像翻译方法，包括以下步骤：设计噪声抑制模块；降噪模块的参数跟随整个网络的结果更新；构建场景信息融合生成器；通过自注意力和交叉注意力实现局部特征和全局特征的结合；组合判别器通过Patch‑GAN和场景判别器两个模块，实现对生成图像真伪和场景的细致判别，从而引导生成器学习图像的场景特征，生成更符合场景的真实图像。由于本发明融合场景辅助信息，结合场景注意力机制的骨干网络，有效提取了图像局部和全局场景的有效特征，同时构建了去除相干斑噪声的噪声抑制模块，结合预测网络更新参数，加速网络收敛，实现了对复杂场景的SAR到可见光图像的生成。

主权项：1.一种融合场景信息的弱监督SAR到可见光图像翻译方法，其特征在于，包括如下步骤：步骤1：噪声抑制模块构建；将输入的SAR图像进行图像变换与小波分解得到四个子带图像，每个子带包含原图像不同频率的信息，再将子带图像输入预测网络，预测获得各个子带的滤波阈值并进行阈值滤波，最后将子带图像反变换得到降噪后的SAR图像；步骤2：场景信息融合生成器构建；使用基于Cycle-GAN的网络结构构建场景信息融合生成器；表1为场景信息融合生成器的结构；表1场景信息融合生成器网络结构 输入的图像经过下采样模块初步提取特征，降低特征图的尺寸同时提高维度；提取到的特征被输入场景引导特征提取模块，该模块包含场景过滤残差块和场景融合注意力块；场景过滤残差块由两个3×3的卷积层和一个全连接层组成，将场景特征以全局特征的形式与图像特征融合；图像特征经过卷积层初步特征提取，与经过全连接层处理的场景特征进行通道相加融合；融合后的特征再经过卷积层，得到了残差部分的输出特征，输出为原始特征与残差部分特征的相加结果；场景融合注意力块包含两个多头注意力层：自注意力和交叉注意力；通过自注意力和交叉注意力，将场景特征与图像特征以局部特征和全局特征相结合的方式进行融合；图像特征先经过第一层自注意力层得到特征输出，然后与输入的场景特征计算交叉注意力，实现特征融合；融合后的特征经过前馈层得到最终的输出；输出的图像特征通过上采样层将图像的信息映射到对应的图像域，生成更真实的图像；使用对抗性损失函数训练GAN网络，将其应用于图像映射；对于可见光到SAR图像的映射函数Go2s:OPT→SAR和其判别器DSAR，目标表示为： 其中OPT表示可见光图像，SAR表示SAR图像，Go2s表示从可见光生成SAR图像的生成器，DSAR表示SAR图像的判别器，表示从潜在空间中的先验分布pdatasar中抽取一个SAR向量sar的操作，表示从潜在空间中的先验分布pdataopt中抽取一个OPT向量opt的操作；Go2s将可见光图像翻译为SAR图像，DSAR用来区分翻译结果和真实图像；对于SAR到可见光的映射函数Gs2o:SAR→OPT引入相似的对抗损失，即步骤3：组合判别器构建；组合判别器包含两个判别器模块；第一个判别器模块为Patch-GAN，原图像通过卷积操作转换为一个大小为30×30的判别矩阵，矩阵中每一个像素拥有原图像尺寸为70×70大小的感受野，以此分块联合判别原图像的真伪；第二个判别器模块为场景判别器，由七个7×7的卷积层和一个全连接层构成；判别器通过卷积操作提取特征，最后经过一层softmax得到最终的场景概率判别结果。

全文数据：

权利要求：

百度查询： 西北工业大学 融合场景信息的弱监督SAR到可见光图像翻译方法