买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明属于网络运营服务技术领域，尤其涉及一种时延敏感WiFi的智能OFDMA资源调度方法、系统及终端，首先AP获取每个STA对应的缓存队列的相关信息；然后将OFDMA资源调度问题建模为一个马尔可夫决策过程，定义其中的状态、动作以及奖励函数，利用PPO深度强化学习算法求解最优策略；最后利用最优策略控制OFDMA资源单元的调度。本发明可以满足时延敏感业务对于WiFi网络的QoS要求，在20MHz带宽下，当网络总数据输入速率不超过20Mbps时，所有时延敏感节点均能够保证95％以上的可靠性，一定程度上保证了时延敏感业务的确定性时延。此外，本发明适用于上行和下行场景，并能够在网络数据输入速率不同的场景中工作。

主权项：1.一种时延敏感WiFi的智能OFDMA资源调度方法，其特征在于，包括：步骤一，AP获取每个STA对应的缓存队列的相关信息；步骤二，将OFDMA资源调度问题建模为一个马尔可夫决策过程，定义其中的状态、动作以及奖励函数；步骤三，利用PPO深度强化学习算法求解最优策略；步骤四，利用最优策略控制OFDMA资源单元的调度；时延敏感WiFi的智能OFDMA资源调度方法可根据实时的缓存队列信息自适应动态调整OFDMA资源的调度策略，从而最大化发挥信道的信息传输能力；一个由1个AP和5个STA组成的网络，且这5个STA的业务均为时延敏感类型，每个STA均要求自己发送或接收的数据包端到端时延在一定阈值之内；建立路口拥堵畅通状态模型具体为：OFDMA资源调度智能体采用深度强化学习方法，构建神经网络πθ为策略网络，并构造一个相同结构的神经网络作为旧的策略网络，所构建的神经网络包括输入层、两个全连接层和输出层，输入层为缓存队列的相关信息，输出层为当前状态s下采取所有动作的概率分布；此外，构建神经网络Vω为价值函数网络，其结构与策略网络的区别是，输出层为状态s的预期收益；经验回放池用于记录所有的样本s,a,r,s'，其中s表示当前缓存队列状态，a表示当前缓存队列状态下执行的动作，s'表示在状态s下执行动作a后迁移到的下一个状态，r表示在当前缓存队列状态s下执行动作a得到的立即回报；将OFDMA资源调度问题建模为一个马尔可夫决策过程，并定义其中的状态、动作以及立即奖赏函数，具体为：状态，用s表示，当前缓存队列状态s由缓存队列的长度和各个缓存队列中头包的排队时延来表示；动作，用a表示，其意义为本次传输中将要参与的STA数量，其中1≤a≤n，n为STA的最大数量；为了在最大程度上满足时延敏感业务的需求，动作优先选择缓存队列头包排队时延离时延阈值最近的STA进行发送；具体来说，每次在采取动作之前，首先根据头包时延和时延阈值的差值按从小到大的顺序进行排序，然后选择该排序结果中前a个STA参与传输；立即奖赏函数，用r表示，其定义为： 其中，nsuccess表示端到端时延满足时延要求的数据包数量，nfail表示端到端时延不满足时延要求的数据包数量，nsum＝nsuccess+nfail，本次发送成功的数据包个数。

全文数据：

权利要求：

百度查询： 华中科技大学 武汉烽火技术服务有限公司 时延敏感WiFi的智能OFDMA资源调度方法、系统及终端