买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江工业大学

摘要：本发明公开了一种基于多模态域变换和自适应融合的台风生成预报方法，以台风相关的二维卫星数据和三维环境数据作为输入数据，采用傅立叶频率注意力来增强二维红外卫星云图的特征表示，采用三维联合注意力来兼顾四维环境数据特征中位置和通道维度的信息提取，同时提出了多模态融合模块自适应融合上述两种模态，融合多尺度和多模态特征，从复杂的气象数据中获取有价值的信息，最后得到台风生成的概率值。本发明从复杂的气象数据中获取有价值的信息，能够准确进行台风生成预报。

主权项：1.一种基于多模态域变换和自适应融合的台风生成预报方法，其特征在于，所述基于多模态域变换和自适应融合的台风生成预报方法，包括：将卫星云图输入特征提取模块的第一分支，通过二维卷积和傅里叶频率注意力将时域转换到频域来增强对云图中深层特征的提取，提取至少两个尺度的云图特征；将三维环境数据输入特征提取模块的第二分支，通过三维卷积和三维联合注意力来兼顾对空间位置和通道维度的特征提取，提取至少两个尺度的环境数据特征；云图特征和环境数据特征输入到多模态融合模块进行自适应的特征选择和融合，得到融合特征；将融合特征输入分类器，得到台风生成的概率；其中，所述第一分支包括至少两个云图特征提取单元，每个云图特征提取单元包括二维卷积和傅里叶频率注意力，傅里叶频率注意力包括一个快速傅里叶变换层、一个频率注意力层和一个快速傅里叶反变换层；在每个云图特征提取单元中，输入特征先通过二维卷积得到局部特征，然后进入傅里叶频率注意力，快速傅里叶变换层将局部特征由时域转换为频域，频率注意力层对频域特征执行通道维度注意力机制，再通过快速傅里叶反变换层将频域特征转换为时域特征，将快速傅里叶反变换层输出的时域特征与二维卷积输出的局部特征进行残差连接，得到本云图特征提取单元输出的一个尺度的云图特征，输入下一个云图特征提取单元继续提取另一个尺度的云图特征；所述第二分支包括至少两个环境特征提取单元，每个环境特征提取单元包括三维卷积和三维联合注意力，三维联合注意力包括一个空间变换层、一个位置-通道联合注意力层和一个空间反变换层；在每个环境特征提取单元中，输入特征先通过三维卷积得到四维局部特征，其中包含三维空间位置和一维通道，然后将四维局部特征输入三维联合注意力，在三维联合注意力中，通过空间变换层将局部特征转换为包含通道和位置维度的二维特征；然后通过位置-通道联合注意力层提取联合注意力特征，再通过空间反变换层还原回四维特征，最后将空间反变换层输出的四维特征与三维卷积输出的四维局部特征进行残差连接，得到本环境特征提取单元输出的一个尺度的环境数据特征，输入下一个环境特征提取单元继续提取另一个尺度的环境数据特征；所述多模态融合模块，包括预设数量的融合单元，每个融合单元中设有预设数量的节点，每个节点包括至少两个候选融合操作；所述云图特征和环境数据特征作为候选特征，每个融合单元通过搜索选择两个候选特征作为输入；在每个融合单元中，每个节点通过搜索从融合单元的两个输入特征和其他节点的输出特征中选择两个特征进行融合操作，并且通过搜索选择候选融合操作中的一种来执行融合操作作为节点的输出；最后每个节点的输出沿着通道维度拼接在一起，作为融合单元的输出；所有融合单元的输出，经过通道拼接后得到多模态融合模块输出的融合特征。

全文数据：

权利要求：

百度查询： 浙江工业大学 一种基于多模态域变换和自适应融合的台风生成预报方法