申请/专利权人：广东海洋大学

申请日：2024-04-17

公开（公告）日：2024-07-05

公开（公告）号：CN118071602B

主分类号：G06T3/4053

分类号：G06T3/4053;G06N3/0455;G06N3/082;G06T3/4007;G06T3/4038;G06T3/4046

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2024.06.11#实质审查的生效;2024.05.24#公开

摘要：本发明涉及图像处理技术领域，具体涉及一种基于多尺度网络的遥感图像超分辨重建方法、系统及介质，方法包括：建立用于遥感图像超分辨率重建的DFMNet网络，所述DFMNet网络包括浅层特征提取模块、编码器、交叉注意力模块和解码器；将作为样本的遥感图像按多个不同调整尺度分别进行最近邻插值，得到多个下采样图像，将所述遥感图像和多个所述下采样图像作为输入图像；采用所述DFMNet网络对所述输入图像进行训练，得到训练好的DFMNet网络；获取待重建的遥感图像，将所述待重建的遥感图像输入训练好的DFMNet网络进行图像重建，得到重建图像；本发明能够提高遥感图像的分辨率。

主权项：1.一种基于多尺度网络的遥感图像超分辨重建方法，其特征在于，所述方法包括以下步骤：建立用于遥感图像超分辨率重建的DFMNet网络，所述DFMNet网络包括浅层特征提取模块、编码器、交叉注意力模块和解码器；其中，所述编码器包括多个双路径特征复用模块，所述双路径特征复用模块采用对称的双路径结构，两条路径的卷积层结构相同且尺寸不同；所述交叉注意力模块用于将所述编码器输出的多尺度图像特征进行深度交互融合；将作为样本的遥感图像按多个不同调整尺度分别进行最近邻插值，得到多个下采样图像，将所述遥感图像和多个所述下采样图像作为输入图像；采用所述DFMNet网络对所述输入图像进行训练，得到训练好的DFMNet网络；获取待重建的遥感图像，将所述待重建的遥感图像输入训练好的DFMNet网络进行图像重建，得到重建图像；其中，所述待重建的遥感图像为低分辨率图像，所述重建图像为高分辨率图像；所述采用所述DFMNet网络对所述输入图像进行训练，得到训练好的DFMNet网络，包括：将多个所述输入图像按尺度大小降序排列后，分别输入两个级联的卷积层进行浅层特征提取，得到多个第一特征图；将多个第一特征图分别输入到相应的编码器中进行特征提取，得到多个第二特征图；将多个第二特征图经过双线性插值和连接操作，重新组合成多个不同尺寸的第三特征图；将多个第二特征图和多个第三特征图注入到交叉注意力模块中进行交互式学习，得到多个交互值；将多个交互值通过插值调整到相同的尺寸后拼接在一起，形成多个拼接值；将多个拼接值先后输入到带有残差感知机的解码器中，对DFMNet网络进行训练，直至训练得到的超分辨率图像和基准真实的遥感图像的损失值降低到设定的损失阈值，得到训练好的DFMNet网络；其中，最上层解码器的输出结果通过对上一层解码器对应的拼接值解码得到；所述双路径特征复用模块采用对称的双路径结构，两条路径的卷积层结构相同且尺寸不同；所述将多个第一特征图分别输入到相应的编码器中进行特征提取，得到多个第二特征图，包括：将n个双路径特征复用模块堆叠在一起形成一个编码器；对于每个第一特征图Fi，将该第一特征图Fi作为双路径特征复用模块的输入Fin，采用以下公式计算得到双路径特征复用模块的输出结果，作为该第一特征图Fi对应的特征图Ei：S1=δConv3Fin；P1=δConv5Fin；S2=Conv1[ConcatS1,P1]；P2=Conv1[ConcatS1,P1]；S3=δ[Conv3S2+Conv5S2]；P3=δ[Conv5P2+Conv3P2]；Fout=Conv1ConcatS3,P3+Fin；其中，δ代表ReLU激活函数，Fout表示双路径特征复用模块的输出结果，Conv表示卷积层，Conv的下标数字表示卷积核的尺寸，Concat表示拼接操作；S1表示经过卷积核尺寸为3×3的卷积层之后再激活的特征图，P1表示经过卷积核尺寸为5×5的卷积层之后再激活的特征图，S2和P2均为将特征图S1与特征图P1拼接后经过卷积核尺寸为1×1的卷积层得到的特征图，S3表示S2分别通过卷积核尺寸为3×3和5×5的卷积层之后相加再激活的图像编码，P3表示P2分别通过卷积核尺寸为5×5和3×3的卷积层之后相加再激活的图像编码；所述将多个第二特征图和多个第三特征图注入到交叉注意力模块中进行交互式学习，得到多个交互值，包括：将第二特征图表示为x1，将第三特征图表示为x2，采用以下数学模型计算得到交叉注意力模块的输出结果，作为与所述第二特征图和第三特征图对应的交互值：m1=Conv1x1；m2=δConv1m1；n1=Conv1x2；n2=δConv1n1；n3=Conv1[SGm2•n2]+n1；m3=Conv1[SGn2•m2]+m1；y=m3+n3；其中，SG表示交叉阀门机制，y为交叉注意力模块的输出结果；m1表示第二特征图x1经过卷积核尺寸为1×1的卷积层得到的结果，m2表示m1经过卷积核尺寸为1×1的卷积层后激活得到的特征图，n1表示第三特征图x2经过卷积核尺寸为1×1的卷积层得到的结果，n2表示n1经过卷积核尺寸为1×1的卷积层后激活得到的特征图，n3表示m2经过交叉阀门机制后与特征图n2融合，再经过卷积核尺寸为1×1的卷积层之后和n1相加的结果；m3表示特征图n2经过交叉阀门机制后与m2融合，再经过卷积核尺寸为1×1的卷积层之后和m1相加的结果；所述将多个拼接值先后输入到带有残差感知机的解码器中进行训练，直至训练得到的超分辨率图像和遥感图像的损失值降低到设定的损失阈值，包括：将交叉注意力模块的输出结果y记为Ec，通过以下数学模型计算得到残差多层感知机输出的解码特征图：O=MLPcδ[MLP4cEc]+Ec；其中，MLP代表多层感知机，MLP的下标4c和c表示多层感知机后输出的通道数，c表示通道，O表示解码特征图；对所述DFMNet网络进行迭代训练，直至所述损失值降低到设定的损失阈值，得到训练好的DFMNet网络；所述损失值通过L1损失函数计算得到； ；其中，Ω表示DFMNet网络需要学习的网络模型，表示DFMNet网络对应的超参数，为DFMNet网络的最优超参数，是超分辨率图像，是与所述超分辨率图像对应的基准真实遥感图像，N表示超分辨率图像的总数量；argmin表示将DFMNet网络对应的超参数进行最优化的结果，表示L1范数。

全文数据：

权利要求：

百度查询： 广东海洋大学 基于多尺度网络的遥感图像超分辨重建方法、系统及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD