买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国电子科技集团公司第七研究所

摘要：本发明公开了一种基于深度强化学习的异构网络切片调度方法，所述的方法采用对神经网络离线训练阶段和在线切片调度阶段作为一个调度周期交替进行的方式实现，具体如下：S1：对深度强化学习模型进行离线训练阶段；S2：在线切片调度阶段。本发明采用一种基于深度强化学习的异构网络切片调度算法，在与环境的交互中学习切片调度策略，在神经网络训练和切片调度反复迭代中学出最优的调度策略，即切片可用带宽阈值是在与多变的环境交互中不断变化的，直到学习出最优的调度阈值为止。同等实验条件下，本发明在QoS满足率、业务传输完成时间、切片带宽平均利用率上均有提升。

主权项：1.一种基于深度强化学习的异构网络切片调度方法，其特征在于：所述的方法采用对神经网络离线训练阶段和在线切片调度阶段作为一个调度周期交替进行的方式实现，具体如下：S1：对深度强化学习模型进行离线训练阶段S101：将得到的业务QoS需求信息和切片状态信息构成环境的状态参数，并作为深度强化学习模型的输入，深度强化学习模型输出一组概率向量，代表选择每个切片的概率值；S102：切片调度器选择概率值最大的切片进行调度，调度完成后更新环境状态，并得到反馈的奖励函数值；其中，所述的奖励函数值表示所选择切片的网络性能与业务QoS需求相符的程度： 其中，λ、α、β均表示权重，0＜λ＜1，0＜α＜1，0＜β1；xt,i表示在第t个调度周期，第i个切片的可用带宽；wt，i表示在第t个调度周期，业务请求的带宽需求；ut，i表示在第t个调度周期，业务请求的时延要求；dt，i表示在第t个调度周期，第i个切片的平均往返时延；vt，i表示在第t个调度周期，第i个切片的丢包率；ct，i表示在第t个调度周期，业务请求的丢包率要求；S103：根据奖励函数值的最大值，得到此时最优的调度策略为每个切片的可用带宽阈值；选择可用带宽高于可用带宽阈值的切片进行传输；S2：在线切片调度阶段S201：根据步骤S103得到的调度策略进行调度，并把每次调度的信息以经验元组的形式保存到经验回收池中；S202：在线调度结束后，从经验回收池中按批次大小取出经验信息，回到步骤S1继续离线训练深度强化学习模型，得到更好的调度策略。

全文数据：

权利要求：

百度查询： 中国电子科技集团公司第七研究所 一种基于深度强化学习的异构网络切片调度方法