买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江西啄木蜂科技有限公司;江西省国土空间调查规划研究院

摘要：本发明公开了一种基于多模态图像生成的林业资源变化监测方法，属于图像数据处理技术领域，包括构造数据集；选取一cycleGAN网络，改进其损失函数，用数据集训练得到改进生成器；构造SAR辅助编码器和改进SETR网络；构造完整数据集Gall；用Gall训练改进SETR网络得到改进SETR模型，用于变化检测。本发明实现多模态的信息有效利用，不仅能增强训练稳定性、提升泛化能力，还能根据图像质量进行自适应调整，从而对林区图像实现更精确的语义分割，结合不同时刻的语义分割图得到更准确的变化区域。本发明能监测森林的动态变化，及时识别森林退化、火灾发生和病害扩散等事件，从而为林业管理和灾害响应提供关键信息。

主权项：1.一种基于多模态图像生成的林业资源变化监测方法，其特征在于：包括以下步骤；S1，构造数据集；获取不同林区场景下的光学遥感图像，构成光学图像数据集GX，对每张光学遥感图像，获取其相同场景下的真实SAR图像，构成SAR图像数据集GY；相同场景下的光学遥感图像与真实SAR图像一一对应，GX内图像属于域X，GY内图像属于域Y；S2，选取一cycleGAN网络，包括生成器G、生成器F、判别器DX和判别器DY，所述生成器G用于将图像从域X转换到域Y，生成器F用于将图像从域Y转换到域X，判别器DX用于输入域X的图像，输出其为真实光学遥感图像概率值，判别器DY用于输入域Y的图像，输出其为真实SAR图像的概率值；S3，改进cycleGAN网络的损失函数，用GX、GY训练cycleGAN网络，更新生成器G，得到改进生成器；S4，构造一SAR辅助编码器，包括两个Transformer编码器，分别标记为光学编码器TF1和SAR编码器TF2，TF1和TF2的Q值矩阵经加权求和得到融合Q值矩阵，再送入TF1的多头注意力模块中；S5，构造改进SETR网络，包括步骤S51~S53；S51，选取一SETR网络，包括图像块嵌入单元、编码层和解码层，所述编码层为24层Transformer编码器；S52，所述图像块嵌入单元为2个，标记为Emb1、Emb2，分别用于输入域X的图像和域Y的图像，并对图像进行分块和位置编码，输出图像对应的向量序列；S53，将编码层前12层Transformer编码器替换为SAR辅助编码器，第l层SAR辅助编码器中TF1、TF2分别标记为、，1≤l≤12，、的输出分别为、，的输出接的输入，的输出接的输入，的输入接Emb1的输出、的输入接Emb2的输出，的输出接第13层Transformer编码器；S6，构造完整数据集Gall；对GX中光学遥感图像，一部分从GY中找到对应的真实SAR图像，另一部分由改进生成器转换到域Y，输出虚假SAR图像，将真实SAR图像和虚假SAR图像构成数据集Gb，生成，其中，a为GX中光学遥感图像，b为a对应的真实SAR图像或虚假SAR图像，a,b为一组图像对；S7，用Gall训练改进SETR网络至收敛，得到改进SETR模型，训练时，第l层SAR辅助编码器的融合Q值矩阵根据步骤S71~S72得到；S71，对Gb中每张图像，由判别器DY输出其为真实SAR图像的概率值；S72，根据下式得到第l层SAR辅助编码器的融合Q值矩阵； ，式中，为的Q值矩阵、为的Q值矩阵；S8，用改进SETR模型进行变化检测；获取t1时刻的光学遥感图像a1和SAR图像b1、t2时刻的光学遥感图像a2和SAR图像b2，构成图像对a1,b1、a2,b2，将a1,b1、a2,b2分别送入改进SETR模型，输出对应的语义分割图M1、M2，并基于M1、M2得到变化区域ΔM；其中，b1为a1对应的真实SAR图像或由改进生成器将b1转换到域Y得到的虚假SAR图像，b2为a2对应的真实SAR图像或由改进生成器将b2转换到域Y得到的虚假SAR图像。

全文数据：

权利要求：

百度查询： 江西啄木蜂科技有限公司 江西省国土空间调查规划研究院 一种基于多模态图像生成的林业资源变化监测方法