买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：基于改进知识蒸馏ESN的边缘端时间序列预测方法，首先将回声状态网络ESN与知识蒸馏KD结合，构造基于改进知识蒸馏ESN的时间序列预测模型；然后提出训练算法，在服务器端训练该模型，优化储备池结构，提高其长期记忆能力并降低其计算开销；最终在边缘端使用训练好的基于改进知识蒸馏ESN的时间序列预测模型进行时间序列预测。该方法可以提高储备池的长期记忆能力并且降低其计算开销，使ESN更适合部署在边缘端完成时间序列预测任务。

主权项：1.基于改进知识蒸馏ESN的边缘端时间序列预测方法，其特征在于：所述方法包括如下步骤：步骤1：构造基于改进知识蒸馏ESN的时间序列预测模型，包括教师网络、助教网络与学生网络；所述步骤1中，构造基于改进知识蒸馏ESN的时间序列预测模型具体步骤如下：步骤1-1：以LSTM作为教师网络，设置其参数；步骤1-2：以ESN作为学生网络，设置其参数；步骤1-3：以双环ESN作为助教网络，设置其参数；步骤1-4：使用上述步骤中的教师网络、学生网络与助教网络，构造基于改进知识蒸馏ESN的时间序列预测模型；其中，教师网络输入训练集，输出蒸馏知识，助教网络输入训练集与蒸馏知识，输出助教知识；学生网络输入训练集、蒸馏知识与助教知识，完成储备池结构的训练；设置助教蒸馏学习率α、β，学生蒸馏学习率μ、v、o，迭代剪枝次数it；步骤1-5：确定模型的输入和输出；模型的输入向量为时间序列历史数据ut＝trt-P+1，trt-P+2，…，trt，P为滑动窗口大小，trt为t时刻的时间序列数据；输出向量为预测数据yt＝trt+1；步骤2：在边缘端采集时间序列数据并在服务器端使用采集到的时间序列数据训练步骤1构造的基于改进知识蒸馏ESN的时间序列预测模型；共包括教师网络训练、助教网络训练与学生网络训练三部分；学生网络在助教网络的帮助下，学习教师网络的长期记忆能力，优化储备池结构，从而得到相应的储备池连接矩阵W；所述步骤2中，训练的具体步骤如下：步骤2-1：采集时间序列数据并构造训练集；在规定的采样时间内，在边缘端采集时间序列数据集合Trp＝{tr1，tr2，…，trt，…，trp}并传输到服务器端，其中trt表示t时刻的时间序列数据，p为采集的数据总数；在服务器端，根据Trp来构造训练样本集：U＝{utraint，ytraint+1，P≤t≤m-1}其中，utraint＝trt-P+1，trt-P+2，…，trt，ytraint+1＝trt+1，P是滑动窗口大小；将训练集U均分为三部分，包括教师训练集U1、助教训练集U2、学生训练集U3；步骤2-2：在服务器端，根据U1，训练教师网络并输出蒸馏知识T1；步骤2-3：在服务器端，根据U2，训练助教网络并输出助教知识A与新的教师蒸馏知识T2；步骤2-4：在服务器端，根据U3，训练学生网络并输出学习后的储备池连接矩阵W；步骤2-5：在服务器端，修剪学生网络储备池中的神经元；根据U3，对学生网络经典ESN进行冗余知识的修剪，降低冗余学习的影响；尝试修剪储备池中的神经元i；以经典ESN训练的目标函数为评价指标；其目标函数如下所示： 其中，yt+1为真实值，为经典ESN的预测值，m为训练集大小；若修剪神经元i后目标函数值下降，即网络预测性能提升，则修剪神经元i，剔除其余神经元与神经元i的连接；具体的，令wi，j＝wj，i＝0；其中，wi，j表示神经元i到神经元j的连接权值，0≤j≤N-1，N为储备池中的神经元个数；若目标函数值上升，则不修剪；步骤2-6：重复步骤2-5，直至达到预设的剪枝迭代次数或训练目标函数值不变化，得到修剪后的储备池连接矩阵W；步骤2-7：在服务器端，训练具备新储备池结构的学生网络；根据U3，优化后的学生网络按岭回归训练，得到输出连接矩阵Wout；步骤3：在边缘端使用步骤2中训练好的基于改进知识蒸馏ESN的时间序列预测模型，基于采集的待预测时间序列数据，预测未来时刻时间序列；所述步骤3中，将训练完成的基于改进知识蒸馏ESN的时间序列预测模型部署于边缘端；在边缘端，采集获得待预测的时间序列数据upredt′＝{trt′-P+1，trt′-P+2，…，trt′}；在边缘端使用训练完成的基于改进知识蒸馏ESN的时间序列预测模型预测未来时间序列数据，输出下一时刻的时间序列数据ypredt′+1；具体步骤如下：步骤3-1：学生网络输入upredt′，更新储备池状态向量xpredt′：xpredt′＝finWinupredt′+Wxpredt′-1；其中，fin为储备池内部激励函数，Win为输入连接矩阵，W为步骤2中训练得到的储备池连接矩阵，xpredt′-1为上一时刻的储备池状态向量，upredt′与xpredt′分别表示本时刻的输入向量与储备池状态向量；步骤3-2：根据储备池状态向量，学生网络输出下一时刻的时间序列数据ypredt′+1：ypredt′+1＝foutWoutupredt′，xpredt′其中，fout为输出激励函数，Wout为步骤2中训练得到的输出连接矩阵。

全文数据：

权利要求：

百度查询： 南京邮电大学 基于改进知识蒸馏ESN的边缘端时间序列预测方法