买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门大学

摘要：基于Q学习和数据分级的水声网络动态计算簇头路由方法，涉及水声通信网络。将水下节点分簇，设簇头CH节点为计算簇头，负责计算数据传输的最优路径以及Q值表的存储，非簇头节点负责数据信号传输。根据水声网络节点的初始位置，选择初始簇头CH节点，再根据非簇头节点的能量变化率选择备用簇头。根据数据优先级程度不同进行数据分级，选择不同的数据传输模式，以保证较高数据优先级的节点优先传输；当初始计算簇头CH节点的剩余能量接近于阈值时，其与备用簇头进行任务交接，优化簇内节点能量的均匀分布，对水声通信网络能量资源的分配进行更加合理的规划，实现水声通信网络基于Q学习和数据优先级的水声通信能耗和时延优化功能。

主权项：1.基于Q学习和数据分级的水声网络动态计算簇头路由方法，其特征在于包括以下步骤：1在整个水声通信网络中，对于在水下环境中随机分布的节点，初始时刻选择任意K个节点作为簇中心，遍历所有的节点，根据公式1按照距离最近原则，将这些点分配到这K个簇中心附近形成K个簇；根据公式2重新计算每个簇的簇中心，重新进行分簇，直到每次分簇的结果保持不变；在每个簇中，选取距离簇中心距离最近的节点为初始簇头CH节点；在实际应用中，设置一个最大迭代次数，当达到最大迭代次数时终止计算； 式中，D表示节点sn与簇中心的距离；表示节点sn的坐标，且xn、yn分别为节点sn的横、纵坐标；为第Cn个簇中心的坐标，mk为第Cn个簇中的节点数量；2簇的初始化操作，确定簇内各节点的状态，初始簇头CH节点广播以通知簇内其余节点有关簇头的信息，初始簇头CH节点向临近节点发出一个包含簇头标志的空白数据包；当簇内其余节点接收到此数据包时，识别到簇头标志后，向数据包添加自身信息，自身信息包含节点深度、初始剩余能量，根据接收到此数据包的顺序节点对自己编号且附在数据包上；最后，当初始簇头CH节点接收到此数据包后，依据编号顺序建立初始Q值表，根据编号检查是否遗漏节点；若遗漏节点，则再进行一次广播，直到不存在遗漏节点为止；3在Q学习的框架中，π策略指在此策略下每个状态si∈S和动作ai∈Asi，都对应一个固定的在状态si时采取动作ai的概率为πsi，ai，其中，S表示状态空间，Asi表示状态si对应的动作空间；Q学习的核心是状态-动作对即Qs，a的值，在策略π下，设在状态st时采取动作at，并在其后遵循最优策略所能获得的预期回报为Q*st，at： 通过迭代来近似： 其中，α∈0，1]，表示学习效率，决定Q值的更新率；rt表示处于状态st时，采取动作at可收到的回报；表示从状态st采取动作at到下一个状态st+1的概率；γ表示折扣因子，用于对未来收到的奖励进行打折扣，并且由于最近的行为对当前价值的影响大于未来的行为，其取值范围为[0，1；当γ设置为0时，系统只考虑当前的奖励，行为类似于贪婪算法，但局部最优不一定会导致全局最优；当γ设定为1时，系统会争取长期的高回报，然而，未来的奖励无法准确估计，因此，良好的表现是不能保证的；为此，需要平衡这两个因素，γ的典型值设在0.5到0.99之间；考虑簇头CH节点计算奖励函数的rt公式为：rt＝-g-β1csn+β2dsn5 β1+β2＝18其中，g表示持续惩罚；β1、β2分别表示奖励权重；csn表示有关节点sn剩余能量的奖励，dsn表示有关节点sn深度的奖励；Eressn表示节点sn的剩余能量，Einitsn表示节点sn的初始能量；DCH表示簇头CH节点的深度，表示节点sn的深度；节点深度信息在进行簇的初始化操作时获得，节点剩余能量Eressn信息在进行或完成数据的传输时获得；由于簇内各节点初始剩余能量相同，初始簇头在计算Q值表时，深度奖励的权重β2增大，剩余能量奖励权重β1减小；当簇内剩余能量的方差大于阈值C时，深度奖励的权重β2减小，剩余能量奖励权重β1增大；阈值C根据水声网络的节点数量、节点初始剩余能量进行设置；其中，C为常数；4在整个水声通信网络中，各个簇头CH节点负责根据其余节点信息计算并更新Q值表，从而得出数据在各个簇头所属簇内的最佳传输途径；各个簇内非簇头节点负责数据传递和与所属簇的簇头进行信息交流；当任一节点开始传输数据时，首先判断数据的优先级进行数据分级，从而选择数据的传输方式，节点与所属簇头CH节点交换信号，簇头CH节点根据信息计算后将其返还给该节点，从而根据计算结果在簇内节点间完成数据传输；考虑节点所传输的数据分级计算公式为： 所述数据的传输方式为两种类型：设有传输数据需求的节点为s0，节点s0所属簇的簇头CH节点为CH1，其余各簇簇头CH节点依次为CH2，CH3，...，CHK，其余非簇头节点为s1，s2，...，sn；簇头CH节点在计算某条最优路径时，将参与此次最优路径的决策节点标记ψ＝1表示这些节点需要完成传输数据的任务，当簇头CH节点接收到节点返回包含剩余能量信息的ACK数据包后，簇头CH节点更新Q值表，并将此节点标记为ψ＝0；简而言之，ψ＝0表示该节点处于待机状态，即没有传输任务；ψ＝1表示该节点处于工作状态，即有传输任务；要求簇头CH节点在计算某条最优路径时，只允许ψ＝0的非簇头节点参与计算；①当θ＝1即传输的数据优先级较高时，簇内节点执行以下传输步骤：1节点s0会向簇头CH1节点发送包含数据头和自身信息的数据包；数据包包含传输数据的优先级θ＝1、数据头和节点s0的剩余能量信息；其中，数据头为待传输数据的编号；2当簇头CH1节点收到来自节点s0的数据包时，读取数据的优先级信息，并结合数据包中节点剩余能量信息对Q值表进行更新；3簇头CH1节点计算本簇内数据传输的最优路径并将信号返还给节点s0，同时，簇头CH1节点，向深度更浅的簇头CH2节点，传输包含数据传输的最优路径末端节点s1的编号信息和数据头的信息；此时，簇头CH1节点将参与本簇内此次数据传输最优路径的节点标记为ψ＝1；簇头CH1节点返还给节点s0的信号，包含数据在本簇内沿最优路径传输节点的编号顺序；4节点s0接收到由簇头CH1节点返还的信号后，开始沿簇内最优路径传输数据，直至数据传输至本簇内数据传输最优路径的末端节点s1处；每当沿最优路径传输数据的节点完成传输任务时，向簇头CH1节点发生包含节点剩余能量信息的ACK数据包；簇头CH1节点接收到ACK数据包后，将该节点标记为ψ＝0；5簇头CH2节点接收信息后，根据Q值表计算数据在本簇内的最优路径，并将信号传给本簇与上一簇最优路径末端节点s1连接的初始节点s2，同时簇头CH2节点向更浅的簇头CH2节点传输包含最优路径末端节点s3信息和数据头的信息；6节点s2向上一簇内数据传输的最优路径末端节点s1发送接收信号，然后节点s2接收来自节点s1的数据后，开始沿本簇内数据传输最优路径传输数据，直至数据传输至本簇内数据传输最优路径的末端节点s3处；7重复迭代步骤3～6直至没有更浅的簇头CH节点，最终由最后一簇的数据传输最优路径的末端节点sn向Sink节点传输数据；②当θ＝0即传输的数据优先级较低时，簇内节点执行以下传输步骤：1节点s0会向簇头CH1节点发送包含数据头和自身信息的数据包；数据包包含传输数据的优先级θ＝0、数据头和节点s0的剩余能量信息；其中，数据头为待传输数据的编号；2当簇头CH1节点收到来自节点s0的数据包时，读取数据的优先级信息，并结合数据包中节点剩余能量信息对Q值表进行更新；3簇头CH1节点计算本簇内数据传输的最优路径，并将信号返还给节点s0；此时，簇头CH1节点将参与本簇内此次数据传输最优路径的节点标记为ψ＝1；节点s0接受到由簇头CH1节点返还的信号后，开始沿簇内最优路径传输数据；每当沿最优路径传输数据的节点完成传输任务时，向簇头CH1节点发生包含节点剩余能量信息的ACK数据包；簇头CH1节点接收到ACK数据包后，将该节点标记为ψ＝0；4当数据传输到本簇内数据传输最优路径末端节点s1后，节点s1向深度更浅的其它簇的近邻节点s2发送包含数据头和数据优先级信息的数据包；其它簇的近邻节点s2排除簇头CH节点；5近邻节点s2收到数据包后，向本簇簇头CH2节点转发包含数据头和数据优先级信息的数据包；6簇头CH2节点接收数据包后，根据是否存在优先级较高数据的传输需求，判断是否进行最优路径计算；6.1若有优先级较高数据的传输需求，簇头CH2节点向近邻节点s2发送等待信号，近邻节点s2再转发此信号给节点s1，节点s1保留数据进行等待直至近邻节点s2发送接收信号；6.2若无优先级较高数据的传输需求，簇头CH2节点根据Q值表计算在本簇内数据传输的最优路径并向近邻节点s2发送信号；此时近邻节点s2向节点s1发送接收信号，然后近邻节点s2接收来自节点s]的数据后，开始沿本簇内数据传输最优路径传输数据；步骤6.2中簇头CH2节点返还给节点s2的信号包含数据在本簇内沿最优路径传输节点的编号顺序；7重复迭代步骤4～6直至没有深度更浅的簇头CH节点，最终由最后一簇的数据传输最优路径的末端节点sn向Sink节点传输数据；5当节点判断数据的优先级后，节点将选择数据的传输方式以完成数据传递；在簇头CH节点计算最优路径的过程中，簇头CH节点的剩余能量会随时间的增加而减小；当簇头CH节点剩余能量EresCH低于阈值Eave时，初始簇头CH节点将失去计算功能并将自身信息和各非簇头节点信息传递给备用簇头，并开始传输数据和数据头信息，备用簇头接收到初始簇头的信息后，启用计算功能并广播通知簇内节点簇头已发生改变，同时，开始寻找备用簇头；考虑替换簇头CH节点有关的能量阈值计算公式为： 式中，EresCH表示簇头CH节点的剩余能量，Eressi表示节点si的剩余能量，nk表示当前簇内非簇头节点的数量；所述备用簇头的选取和簇头CH节点和备用簇头替换的影响因素如下：1在簇头CH节点计算最优路径的过程中，簇头CH节点的剩余能量会随时间的增加而减小；在选择备用簇头的阶段，结合非簇头节点能量变化率因素，选择空洞的潜在节点作为后续阶段的备用簇头；簇头CH节点根据其余节点能量变化率定时更新各非簇头节点的V值，选择V值最小的非簇头节点为备用簇头；其中，V值表示各非簇头节点可能作为备用簇头的预期值；考虑非簇头节点的V值计算公式为： 式中，Einitsn表示节点sn的初始能量，Eressn表示节点sn的剩余能量；2由公式10计算所得，当簇头CH节点剩余能量EresCH低于阈值Eave时，初始簇头CH节点失去计算功能，并将自身信息和各非簇头节点信息传递给备用簇头，同时开始传输数据和数据头信息，随即成为非簇头节点；备用簇头接收完初始簇头CH节点的信息后，启用计算功能；随即成为簇头CH节点，并且同时广播通知簇内其余节点簇头已发生改变；3当簇头CH节点替换上一簇头CH节点后，簇头CH节点开始寻找备用簇头；如此循环进行协议全程动态簇头的选择和替换。

全文数据：

权利要求：

百度查询： 厦门大学 基于Q学习和数据分级的水声网络动态计算簇头路由方法