买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：曲阜师范大学

摘要：本发明提出了一种误差树形反向传播强化学习的无线传感器网络路由方法及使用误差树形反向传播强化学习的无线传感器网络路由方法的无线传感器网络，提出了贪婪行为链，将节点学习中的误差通过贪婪行为链，以树形结构快速传播到多层节点，通过节点之间的信息交换，采用强化学习方法逐步学习优化以达到节点电量均衡、提高整个网络的生命周期的目标，进一步提高了网络的学习效率，能够快速生成优化的网络传输策略，使数据包路由尽快做到最优。本方法在物联网领域具有广泛的应用，对于传感器节点电量均衡、延长网络寿命具有重要意义。

主权项：1.一种误差树形反向传播强化学习的无线传感器网络路由方法，其特征在于，包括以下步骤：Step1：参数初始化；Step2：当前节点i向邻居节点j发送控制包；Step3：当前节点i等待并接收邻居节点j发送的控制包；Step4：计算当前节点i到邻居节点j的Q值；Q值计算方法如下：当前节点i周期性向邻居节点j发送控制包时，邻居节点j根据控制包中的信息计算邻居节点j到当前节点i的Qj,i值；对应马尔科夫决策过程，邻居节点j向当前节点i发送数据包时，根据当前节点i返回的报酬值计算邻居节点j到当前节点i的Qj,i值，邻居节点j到当前节点i的Q值迭代更新公式为：Qjt+1,it+1＝1-αQjt,it+α[w1*r+w2*minHopCount+w3*eRemain+w4*transmissionPower+w5*receivePower+γVit]1其中，w1、w2、w3、w4、w5为学习参数，α为学习率，γ为折扣因子，当前节点i返回的报酬值包括：状态转移的报酬值：r；节点i到Sink节点的最小跳数：minHopCount；节点i的剩余能量：eRemain；节点j的发送功率：transmissionPower；节点i的接收功率：receivePower；学习参数w2满足：w2t＝w2t0*e-tτ4其中，w2t0为初始参数，τ为周期常数，τ值越小，w2t衰减的越快，τ值越大，w2t衰减的越慢；Step5：计算当前节点i的V值；当前节点i的V值计算公式为： 到邻居节点j中Q值最大的节点greedNode为： Step6：计算当前节点i的V值差；Step7：获取到邻居节点j中Q值最大节点greedNode，同时节点greedNode将当前节点i添加到optLastNodes集合，形成贪婪行为链，贪婪行为链在无线传感器网络中动态地形成树形结构；Step8：判断当前节点i的V值差是否大于规定阈值；Step9：如果是，触发强化学习过程：遍历optLastNodes集合，将V值差沿optLastNodes集合方向更新节点对的Q值，以递归方式继续向上层节点传播并更新节点的Q值，进而更新V值，转到Step2；Step10：如果否，转到Step2。

全文数据：

权利要求：

百度查询： 曲阜师范大学 一种误差树形反向传播强化学习的无线传感器网络路由方法