买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京交通大学

摘要：本发明提供了一种面向车联网边缘场景中基于深度强化学习的可靠卸载方法。该方法包括：车辆给接入路侧单元发送卸载任务请求，该卸载任务请求中携带任务数据，该任务数据包括输入数据、计算量、时延限制和任务重要性；接入路侧单元接收卸载任务请求后，向云层请求卸载方案，云层生成卸载方案后，将卸载方案发送给接入路侧单元；接入路侧单元根据卸载方案将任务数据传递给目标路侧单元；目标路侧单元对任务数据进行计算，将计算结果传输给接入路侧单元，接入路侧单元将计算结果回传给所述车辆。本发明方法将传输成功概率、计算成功概率、任务重要性和所需时延等因素纳入可靠性评估机制，实现任务多样化资源多样化的车联网边缘场景中的卸载决策。

主权项：1.一种面向车联网边缘场景中基于深度强化学习的可靠卸载方法，其特征在于，包括：车辆给接入路侧单元发送卸载任务请求，该卸载任务请求中携带任务数据，该任务数据包括输入数据、计算量、时延限制和任务重要性；所述接入路侧单元接收到车辆发送的所述卸载任务请求后，向云层请求卸载方案，云层生成卸载方案后，将卸载方案发送给所述接入路侧单元；所述接入路侧单元根据卸载方案将任务数据传递给目标路侧单元；所述目标路侧单元对任务数据进行计算，将计算结果传输给所述接入路侧单元，所述接入路侧单元将计算结果回传给所述车辆；所述的车辆给接入路侧单元发送卸载任务请求，该卸载任务请求中携带任务数据，该任务数据包括输入数据、计算量、时延限制和任务重要性，包括：设置车联网云-边-端场景由云层、边缘层和用户层构成，云层包括云服务器，负责提供卸载方案，边缘层包括沿道路设置的多个路侧单元，路侧单元的集合表示为设Fn表示部署在RSUn上的计算资源，每个路侧单元一次只能计算一个任务，用户层由各种车辆组成，车辆集合表示为设每辆车同时只生成一个任务，时间被划分为几个周期，表示为每个周期被离散为几个时隙，表示为表示第k个周期的第J个时隙，时隙的任务集表示为表示第k个周期的第J个时隙上的第M个任务；任务ψm被表示为一个四元组{Dm，Cm，τm，κm}，Dm代表了输入数据量，Cm代表计算量，τm代表时延限制，κm代表任务的重要性，将任务的紧迫性和重要性作为任务的优先级的两个影响因素，u1，u2，...表示任务的紧迫性的排序列表，v1，v2，...表示任务的重要性的排序列表，任务ψm的优先级wm表示为： wm表示任务ψm的优先级，um表示任务ψm的紧迫性，vm表示任务ψm的重要性；车辆m给接入RSUi发送卸载任务ψm请求，给接入RSUi上传任务ψm的数据，数据的上传时延被表示为： 表示车辆m向接入RSUi上传任务数据的时延，Dm表示任务ψm的输入数据量，Rm,i表示车辆m与接入RSUi之间的传输速率；所述的接入路侧单元接收到车辆发送的所述卸载任务请求后，向云层请求卸载方案，云层生成卸载方案后，将卸载方案发送给所述接入路侧单元，包括：接入路侧单元RSUn接收到卸载任务数据后，RSUn上的等待队列表示为： 其中，Q表示RSUn上卸载的任务数，在周期k的初始时刻，系统中的任务表示为：Ψk＝{ψ1,ψ2,...,ψM}，任务ψm的卸载策略表示为： 其中n表示任务ψm被卸载到RSUn上，表示RSUn上的任务m是第个被计算；任务集Ψk的卸载策略表示为： 任务卸载到RSU上，可供选择的RSU从中选择，表示为：n∈{0,1,...,N}设定初始卸载决策问题的约束条件包括：RSUn上等待队列中的任务满足 其中，其中RSUn上任务的等待队列表示为任务ψq的开始时间应该晚于RSUn上前一个任务ψq―1的结束时间，表示为： 其中，是前一个任务ψq―1的结束时间，则是任务ψq开始的时间；任务ψq的完成时间表示为： 设定初始卸载决策问题的目标函数为： s.t.n∈{0,1,...,N} 将所述初始卸载决策问题的目标函数建模为马尔可夫决策过程；当新任务到达时，利用动态队列插入策略将任务插入到RSU上的等待队列来局部地调整初始卸载策略，当新任务ψm的卸载请求到达时，云层获得新任务ψm的优先级wm，RSU上等待队列中的插入点根据优先级确定，任务ψm在每个RSU上的等待队列中的插入点表示为： 其中，表示该任务在RSUn上第i个被计算，并表示该任务插入在RSUn上的第i个任务之前；当任务ψm被卸载到每个RSU时，云层计算系统可靠性，通过比较每个RSU上的系统可靠性，云层获得了任务ψm的卸载方案表示为： 当B个任务同时到达时，卸载方案表示为： 设置了任务插入因子，在确定新任务在每个RSU上的插入点时，判断后续任务的插入因子是否达到极限，如果已达到限制，则插入点将更改为原始插入点之后的点；将RSUn上的任务队列位置表示为其中表示任务ψQ在RSUn上排名第k，当一个新任务ψm被卸载到RSUn，并且其优先级满足时，任务ψm的处理顺序表示为： 其中表示RSUn上的任务在队列中被插队的次数，χ表示每个任务在队列中被插入的最大次数，如果任务在任务之前卸载，则满足任务的处理顺序pq表示为： 类似地，任务的处理顺序分别表示为： 以这种方式，云层可以在不影响当前任务执行的情况下获得新任务的卸载策略；动态插队卸载的目的是最大限度地提高系统的可靠性，系统可靠性Γ表示为： 设置动态插队卸载决策问题的约束条件包括：新任务到达时卸载到的RSU要从N中选择，表示为：b∈{1,2,...,N}任务在RSU上的插入点的选择是有限的，表示为： 其中，Mn表示在RSUn上任务的数量；一个任务在队列中被插队的次数上限为χ，被表示为： 设置动态插队卸载决策问题的目标函数如下： 将所述动态插队卸载决策问题的目标函数建模为马尔可夫决策过程状态空间 动作空间 奖励函数 使用深度强化学习算法来求解所述动态插队卸载决策问题的目标函数，将最优化目标作为奖励函数，将限制条件写入算法的环境中，通过训练来让机器学到策略，将动作的取值作为求解结果，该求解结果包括系统中的任务被各自分配到哪个RSU上。

全文数据：

权利要求：

百度查询： 北京交通大学 面向车联网边缘场景中基于深度强化学习的可靠卸载方法