买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：一种基于格拉姆角场多模态时序数据融合的河源溪流水位监测方法属于水文环境监测和多模态信息融合领域。本发明通过格拉姆角场技术将多个一维的气象模态时间序列数据编码为二维的特征表示，将二维气象模态特征表示与河流图像数据进行通道级的堆叠，从而实现多模态数据的输入级信息融合，再将融合的多模态信息时间序列先后经过卷积神经网络和循环神经网络进行时空特征的充分融合与提取，最后经过线性层输出最终的河源溪流水位监测结果。与现有基于图像的水位监测方法相比，本发明能够实现任意长度的气象模态时间序列数据的全局多模态信息与图像数据的充分融合，大幅提升了水位监测的准确性，减少了人工干预的设备校准和标注工作。

主权项：1.一种基于格拉姆角场多模态时序数据融合的河源溪流水位监测方法，其特征在于包括以下步骤：1采集河源溪流的多模态时间序列数据；利用具备红外夜视功能的野外相机，按照每小时拍摄一次的采样频率，日夜采集河流表面的高分辨率图像，获得河流的原始图像时间序列其中，表示第m个采样时刻所采集的三通道高分辨率图像，M表示观测值的总数量；通过公开的DayMet气象数据集，获得该河源溪流监测点所对应区域的原始气象时间序列其中，表示第m个时刻所采集的8维气象数据向量，包括：日照时长、降水量、短波辐射值、雪水当量、最高气温、最低气温、蒸汽压力和所属日期序号；利用锚定在河床上的水压传感器采集河流的原始水位标签时间序列其中，表示第m个采样时刻所采集的河源溪流水位真值；2对1步骤所采集的多模态时间序列原始数据进行预处理操作，构建训练数据集；具体为：a对气象模态原始数据采用最大最小归一化操作，以消除不同维度的量纲差异所带给模型训练的影响；原始气象时间序列数据视为具有8个属性的M个观测样本，表示为： 然后，对每个维度分别进行全局最大最小归一化操作： 其中，表示第i个维度在第m时刻归一化后的值，minci和maxci分别表示第i个维度的全局最小值和最大值；最终得到归一化后的气象时间序列数据其中b对原始图像数据采用双线性插值法调整为480×360×3的分辨率，并将像素的取值范围从[0,255]归一化至[0,1]，得到经过预处理操作后的图像时间序列数据其中c从多模态时间序列和Yraw中生成N个长度为30的小样本时间序列，构建为训练数据集 其中，N表示生成的小样本总数量，并选取每个小样本时间序列最后一个时刻的水位真值作为相应的标签；3对于训练数据集中N个多模态小样本时间序列数据，分别进行基于格拉姆角场的多模态时序数据输入级融合操作；具体为：a将8维的多模态气象时间序列数据Cn转换为一维时间序列，并将取值范围从[0,1]缩放至[-1,1]： b将长度为240的一维多模态气象时间序列映射至极坐标系中，把幅值编码为极坐标的余弦角大小，把时间点tn-1+i编码为半径大小： 其中，表示第n个气象小样本时间序列的第i个时刻所对应的余弦角大小，下角标1:8表示气象数据的维度序号；c将不同时间点之间的时序相关性使用三角和函数表示为格拉姆角场的特征表示矩阵： 其中，格拉姆角场的特征表示矩阵大小是240×240；换句话说，一维的多模态气象时间序列的长度决定了最终编码的特征表示矩阵大小；d将c步骤中得到的格拉姆角场特征表示矩阵采用双线性插值法调整为480×360×1的分辨率，与图像数据的分辨率相匹配，并依次与图像时间序列数据中的图像数据进行通道级的堆叠，从而实现多模态时序数据的输入级信息融合，得到融合的多模态信息时间序列 4用3步骤生成融合的多模态信息时间序列数据集去训练时空特征融合模型，具体为：a利用卷积神经网络依次对融合的多模态信息时间序列内的每一个时刻数据进一步提取空间特征，得到空间特征表示序列b利用循环神经网络对a步骤中得到的空间特征表示序列进一步提取整个序列内的时间依赖关系信息，得到时序特征表示序列c选取时序特征表示序列的最后一个时刻特征表示将其通过线性层进行线性变化与映射，得到第n个多模态小样本序列对应的河源溪流水位监测值d根据模型预测的N个多模态小样本训练序列对应的水位监测值和训练集中的水位真值计算均方损失函数，记为并进行端到端的模型训练，其计算公式为： 其中，θ为整个时空特征融合模型的权重参数集合，N表示小样本训练序列的总数量；5采集待监测时段的河源溪流多模态时间序列数据和进行2步骤的相应预处理操作，再进行3步骤的基于格拉姆角场的多模态时序数据输入级融合之后，将融合的多模态信息时间序列输入到4步骤训练好的时空特征融合模型中，得到待监测时段的河流水位监测至此，完成了基于格拉姆角场多模态时序数据融合的河源溪流水位监测过程。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于格拉姆角场多模态时序数据融合的河源溪流水位监测方法