买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华中科技大学

摘要：本发明公开了一种基于强化学习的物联网覆盖漏洞修复方法：1根据目标区域监测覆盖需求，建立网络模型；2通过可信信息覆盖模型建立网络覆盖模型，计算覆盖率；3采用漏洞重建点与可移动节点最小最短坐标距离双向选择法确定漏洞区域的指向性修复节点；4采用Q‑Learning方法，对指向性修复节点M‑node进行训练，对漏洞子网格进行修复，直到覆盖率满足要求或迭代次数达到设定上限。本发明方法修复后全局覆盖率高，该发明全面地从信息协同的角度挖掘覆盖目标区域监测重建点的空间相关性，并基于强化学习的方法利用奖励机制指导指向性修复节点的移动，完成覆盖漏洞修复，节约能耗和修复时长，提高覆盖率。

主权项：1.一种基于强化学习的物联网覆盖漏洞修复方法，其特征在于，包括以下步骤：（1）根据目标区域监测覆盖需求，建立网络模型；（1.1）根据检测目标的空间相关性，设定变程和估计均方根误差阈值，并对目标覆盖区域按照变程进行区域子网格划分；（1.2）根据传感器节点分布，记录传感器节点编号，根据划分的覆盖子网格，以子网格中心点为重建点，表示为；（2）通过可信信息覆盖模型建立网络覆盖模型，计算覆盖率；所述步骤（2）具体包括如下子步骤：（2.1）在可信信息覆盖模型中，对于未被采样的空间点，采用普通克里金插值函数来计算重建点环境变量的估计值，即采用重建邻域内的传感器节点的测量值的加权平均来计算环境变量估计值；邻域内传感器节点的插值权重系数满足，为重建邻域内的传感器节点的数量；（2.2）结合普通克里金插值函数计算重建点的均方根误差，计算表达式为：，其中和通过步骤（2.1.1）和（2.1.2）求解；（2.3）根据可信信息覆盖模型的定义，若，即均方根误差大于设定的覆盖阈值，则该子网格被覆盖，否则未被覆盖；记录被覆盖的重建点编号，均方根误差小于阈值的漏洞重建点编号为；（2.4）计算目标区域的覆盖率；所述步骤（2.4）中覆盖率的计算公式如下： 其中，为覆盖区域的总面积，为被覆盖的重建点编号，为被覆盖的重建点所在子网格面积，为被覆盖重建点的总数；（3）采用漏洞重建点与可移动节点最小最短坐标距离双向选择法确定漏洞区域的指向性修复节点；（4）采用Q-Learning方法，对指向性修复节点M-node进行训练，对漏洞子网格进行修复，直到覆盖率满足要求或迭代次数达到设定上限；所述步骤（4）包括如下子步骤：（4.1）初始化Q-Learning训练模型参数；设置学习概率和探索概率，和为之间的常数；设定目标区域覆盖率要求和训练次数，建立表，初始化各传感器节点初始值为0；由于初始修复能耗值为0，节点初始效用函数值为步骤（3.2.4）中记录的初始节点收益值；（4.2）为M-node选择行动策略，并更新其传感器节点状态；（4.3）学习；更新传感器节点对应状态位置的值，表达式如下： 其中，为传感器节点在状态下选择策略时的值；，为传感器节点下一状态，为下一状态相邻节点中选择除策略以外的其他策略的次数；为下一状态未被损坏的相邻节点个数，为传感器节点在状态下选择策略时的值；（4.4）重复；重复步骤（2）、（3）、（4.2）和（4.3），直到覆盖率满足要求或迭代次数达到设定上限；所述步骤（4.2）具体包括如下子步骤：（4.2.1）探索；产生一随机数，以概率随机选择移动策略中的向上、向下、向左和向右四个策略中的一个作为；（4.2.2）利用；以概率，考虑M-node节点值和其他传感器节点策略的联合作用，选择策略，满足，其中，表示传感器节点当前所在的状态，表示策略空间中除策略以外的其他策略，为相邻节点中选择除策略以外的其他策略的次数，为未被损坏的相邻节点个数；（4.2.3）计算效用函数；效用函数值由节点收益值和修复能耗值共同决定；表达式如下： 其中，表示传感器节点选择策略时的效用值，为传感器节点选择策略时的节点收益值，为传感器节点选择策略时的修复能耗值；和为均衡节点收益值和修复能耗的权重系数；节点收益值由传感器节点到目标漏洞修复点的最短坐标距离决定，修复能耗值由传感器节点移动的距离决定，表达式如下： 其中，为常数，是为均衡移动距离和能耗的数量级关系；为传感器节点到目标修复重建点的最短坐标距离；为常数，是为了避免传感器节点不必要的来回频繁移动，为移动的距离；（4.2.4）节点状态保护；传感器节点的状态信息包含节点的位置信息、值、策略值、效用函数值；当传感器节点执行此次策略后的效用函数值小于之前状态的效用奖励值，即，则不执行当前行动策略，仍保持当前状态；否则，执行当前策略，传感器节点进入下一状态。

全文数据：

权利要求：

百度查询： 华中科技大学 一种基于强化学习的物联网覆盖漏洞修复方法