买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：福州大学

摘要：本发明涉及一种基于回声状态网络的多维时间序列缺失补全方法，包括：步骤S1：构建回声状态网络模型；步骤S2:按照时间顺序，向回声状态网络模型的输入层提供每个时刻的外生变量，向输出层提供对应时刻的多维时间序列的观测值，若缺失的观测值尚未预补，则利用基于方向的最近邻策略进行暂时性预补;步骤S3:分别构建具有双向反馈的前向或双向回声状态网络，并更新所有时刻的内部状态；步骤S4:根据无需预补时刻的输入、内部状态和真实输出训练出网络的输出权重；步骤S5:根据需要预补时刻的输入、内部状态和步骤S4得到的输出权重计算输出估计值，并用于对预补值进行更新；步骤S6:重复步骤S3‑S5，用最后的预补值填补原始序列的缺失值。本发明考虑更加全面的数据相关性来提升多维时间序列的补全精度。

主权项：1.一种基于回声状态网络的多维时间序列缺失补全方法，其特征在于，包括以下步骤：步骤S1:构建一个包含输入层、隐藏层和输出层的回声状态网络模型，并初始化；步骤S2:按照时间顺序，向回声状态网络模型的输入层提供每个时刻的外生变量，向输出层提供对应时刻的多维时间序列的观测值，若缺失的观测值尚未预补，则利用基于方向的最近邻策略进行暂时性预补；步骤S3:根据使用的储备池个数的不同，分别构建具有双向反馈的前向或双向回声状态网络，并利用不同的内部状态更新公式计算所有时刻的内部状态；步骤S4:根据无需预补时刻的输入、内部状态和真实输出训练出网络的输出权重；步骤S5:根据需要预补时刻的输入、内部状态和步骤S4得到的输出权重计算输出估计值，并用于对预补值进行更新；步骤S6:重复步骤S3-S5直至,满足预设要求，迭代结束，用最后的预补值填补原始序列的缺失值；所述初始化，具体为：随机初始化网络的输入权重、反馈权重和循环权重，其中循环权重要求是稀疏的；所述步骤S1具体为：步骤S11：构建一个包含输入层、隐藏层和输出层的回声状态网络，输入层神经元的个数ni与影响时间序列的外生变量的个数相同，隐藏层包含前向储备池，反向储备池和融合储备池，它们的神经元个数均为nr，输出层神经元的个数no与多维时间序列的维度相同；步骤S12：利用[-1,1]的均匀分布随机生成输入层到前向储备池、反向储备池的输入全连接权重和前一时刻和后一时刻的输出层分别到当前时刻的前向储备池的反馈全连接权重和后一时刻的输出层到当前时刻的反向储备池的反馈全连接权重前一时刻到当前时刻的前向储备池的循环稀疏连接权重其非零元素的个数由稀疏率决定；后一时刻到当前时刻的反向储备池的循环稀疏连接权重其非零元素的个数由稀疏率决定；步骤S13：将权重矩阵Wi1，Wi2，Wf1，Wf2和Wf3按照各自的缩放因子si1，si2，sf1，sf2和sf3进行缩放；将Wr1和Wr2按照各自的谱半径因子ρr1和ρr2根据公式1-2进行调整，其中λmaxWr1和λmaxWr2指的是Wr1和Wr2的最大特征值 所述利用基于方向的最近邻策略进行暂时性预补，具体为：步骤S21：已知原始时间序列Y＝{y1,…,yt,…,yl}，l为时间序列的长度，其中根据Y中的缺失情况，定义一个多维时间序列M＝{m1,…,mt,…,ml}，其中若时刻t的第j维的观测值是缺失的，则若是未缺失的，则步骤S22：在计算内部状态之前，已知外生变量但输出时间序列中yt-1或中某些维度的观测值出现缺失，利用基于方向的最近邻策略进行初始预补；所述基于方向的最近邻策略，具体为：若缺失，应该采用第j个观测值在历史时刻中最后一个未缺失的观测值对其进行预补，如公式3所示；若缺失，应该采用第j个观测值在后续时刻中最新一个未缺失的观测值进行预补，如公式4所示： 其中，表示时刻t之前第j个观测值的最后一个未丢失时刻，表示时刻t之后第j个观测值的第一个未丢失时刻；所述具有双向反馈的前向回声状态网络,具体为：只需要用到隐藏层的前向储备池，无需使用反向储备池，具有双向反馈的前向回声状态网络的状态更新方程如公式5所示： 其中，表示t时刻前向储备池的内部状态；f.为神经元的激活函数，即双曲正切函数tanh；[.；.]表示两个向量的上下联接；将每个时刻的内部状态ht，外生变量xt，输出的观测值yt进行向量的上下拼接，得到扩展状态然后将所有时刻的zt按列存储成矩阵所述具有双向反馈的双向回声状态网络，具体为：需要用到隐藏层的前向储备池，反向储备池和融合储备池，该模型的状态更新方程如公式6-8所示： 其中，表示t时刻反向储备池的内部状态；α∈[0,1]用于控制前向状态和反向状态之间的相对重要性；将每个时刻的内部状态ht，外生变量xt，输出观测值yt进行向量的上下拼接，得到扩展状态然后将所有时刻的zt按列存储成矩阵所述步骤S4具体为：步骤S41：对于j∈{1,2,…,no}，从j＝1开始，重复执行步骤S42-S44，直至j＝no；步骤S42：对于y∈{1,2,…,l}，将矩阵H中所有对应时刻的行取出，得到矩阵为时间序列的第j维中未缺失的观测个数；步骤S43：取出中对应时间序列的第j维观测值的列，得到向量将剩余的部分命名为步骤S44：利用岭回归法求解公式9的优化函数，得到 所述步骤S5具体为：步骤S51：对于j∈{1,2,…,no}，从j＝1开始，重复执行步骤S52-S55，直至j＝no；步骤S52：对于t∈{1,2,…,l}，将矩阵H中所有对应时刻的行取出，得到矩阵步骤S53：取出中对应时间序列的第j维观测值的列，得到向量将剩余的部分命名为步骤S54：利用步骤S44得到的根据公式10更新 步骤S55、将中的值按顺序填充到时间序列的第j维观测值的缺失位置。

全文数据：

权利要求：

百度查询： 福州大学 基于回声状态网络的多维时间序列缺失补全方法