买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京理工大学

摘要：本发明提供了一种时限约束下的能量收集认知无线电网络接入方法，包括确定部分观测马尔可夫决策过程的相关参数，确定次用户吞吐率指标，进而利用Q函数马尔可夫决策过程Q‑functionsMarkovDecisionProcess,QMDP算法确定感知接入动作。本发明旨在提供一种时限约束下的能量收集认知无线电网络接入方法，以对固定传输时限约束下多信道能量收集认知无线电网络中次用户的感知接入策略进行优化，提高了通信场景下传输的吞吐率。

主权项：1.一种时限约束下的能量收集认知无线电网络接入方法，其特征在于，具体步骤为：步骤1、考虑一个认知无线电网络包含N个配对通信的具有固定能量源的主用户组和一个配对通信的依赖于射频能量的次用户组，对于每个主用户组，主发送端n通过信道n发送数据至主接收端n；而次发送端则通过机会式地接入主用户组暂时不使用的信道发送数据至次接收端，每个信道n的时间轴均被等长地划分为若干个时隙t，且每个信道的时隙边界均互相对齐，以此为基础来确定无限时域部分观测马尔可夫决策过程的相关参数，所述相关参数包括：描述在时隙t开始时刻次发送端的状态st、描述时隙t的开始时刻状态处于st时，次发送端选择的动作at、描述次发送端在状态时采取动作转移到状态的转移概率Prs'|s,x,y、描述次发送端在时隙t开始时刻的观测ot、描述次发送端在状态采取动作转移到状态时得到观测ot＝o的观测函数Pro|s,x,y,s'、描述基于时隙t之前所有历史信息和观测的条件下时隙t开始时刻次发送端状态的置信状态It、描述在时隙t开始时刻置信状态It＝I时，次发送端采取动作所获得的即时奖励RtI,x,y、描述一系列从当前置信状态映射到当前时隙动作的策略π；此部分观测马尔可夫决策过程的相关参数的确定方法具体为：步骤1-1、确定部分观测马尔可夫决策过程{Zt,t＝0,1,…}，即无限时域马尔可夫决策过程，次发送端在每个时隙开始时刻做出决策；步骤1-2、确定状态st，st满足其中it∈{-1,0,…,D-1}，当0≤it≤D-1时其表示时隙t开始时刻次发送端队首数据包的逗留时间，D为数据包的传输时限，it＝-1表示时隙t开始时刻次发送端数据队列为空；jt∈{0,1,…,L}表示时隙t开始时刻次发送端所具有的能量单元数目，L为储存能量单元的能量储存器的容量；则表示时隙t开始时刻的信道n状态，其中n∈{1,2,…,N}，N为网络中信道的数量，将st所有可能取值组成的集合称之为状态空间，并标记为步骤1-3、确定行为at，at满足：其中，Xt为次发送端在时隙t开始时刻可选工作模式的集合，Xt＝0表示能量收集模式、Xt＝1表示数据传输模式，当0≤jt≤m或it＝-1时Xt＝{0}，而当m+1≤jt≤L且it≥0时Xt＝{0,1}；Yt＝{1,2,…,N}表示次发送端用于传输数据或收集能量的信道标号的集合；步骤1-4、确定状态转移概率Prs'|s,x,y，其计算公式为： 其中表示信道n的状态从转cn移到cn'的概率，记C0,0n为αn,C1,0n为βn；Pri',j'|i,j,x,y,cn为信道n在时隙t开始时刻的状态时次发送端采取动作次发送端状态从it＝i,jt＝j转移到it+1＝i',jt+1＝j'的概率；给定信道n在时隙t开始时刻的状态以及动作时，将次发送端数据分组及能量储存状态的转移概率矩阵标记为Px,y，具体场景如下：①当x＝0,y＝n即次发送端选择能量收集模式时， 其中，Px,y的每一行均对应于队首数据包的逗留时间，Bi,i'n代表队首数据包的逗留时间从当前时隙的i转移到下一时隙的i'，而Bi,i'n每一行均对应能量储存器中能量单元的数目；Bi,i'n可分为i＝-1和i≥0两种情况进行考虑：当i＝-1即次发送端在当前时隙开始时刻无数据包等待发送时，下一时隙开始时刻的队首数据包逗留时间i'＝-1或1，并且次发送端所储存能量将不会减少，因此可获得： 当i≥0即次发送端在当前时隙开始时刻有数据包等待发送时，Bi,i'n可进一步分为两种情况进行考虑：当0≤i≤D-2即队首数据包逗留时间在下一时隙开始时刻未到达传输时限时，能量仅在选择信道状态为忙碌时会有所增加，而队首数据包逗留时间i'＝i+1，因此可获得： 而当i＝D-1即队首数据包逗留时间在下一时隙开始时刻已到达传输时限时，当前时隙的队首数据包在下一时隙开始时刻必被移出队列，从而只需关注队列第二个数据包于何时到达，因此可通过几何分布推导得： ②当x＝1,y＝n即次发送端选择数据传输模式时， Bi,i'n可分为以下三种情况进行考虑：当0≤i≤D-2,m+1≤j≤L、信道忙碌或信道错误导致传输失败，队首数据包逗留时间i'＝i+1，因此可得： 当0≤i≤D-2,m+1≤j≤L时，信道状态空闲且未发生信道错误时，队首数据包传输成功，队首数据包逗留时间i'＝i-k，其中0≤k≤i+1，因此可得： 其中λ-1＝1，当tl时当i＝D-1即队首数据包逗留时间在下一时隙开始时刻已到达传输时限时，当前时隙的队首数据包在下一时隙开始时刻必被移出队列，进而使得队首数据包逗留时间将由i＝D-1转移至i'＝D-1-k，其中0≤k≤D，因此可得： 步骤1-5、确定观测ot，ot满足：其中表示次发送端对时隙t开始时刻队首数据包逗留时间的观测；表示次发送端对时隙t开始时刻所储存能量单元数目的观测；表示次发送端对时隙t开始时刻信道n状态的观测，表示观测结果为空闲，表示观测结果为忙碌；表示无观测；步骤1-6、确定观测函数Pro|s,x,y,s'，Pro|s,x,y,s'计算公式为： 其中为信道n的观测函数，为队首数据包逗留时间和能量储存器能量单元数目的观测函数，由于都是完全观测，与动作无关，因此可得： 而次发送端仅能观测所选择信道状态，因此信道观测函数为： 步骤1-7、确定置信状态It，It满足： 对于任意bts∈[0,1]且时隙t+1开始时刻的置信状态It+1由时隙t开始时刻的置信状态It、时隙t时次发送端的动作以及时隙t时次发送端的观测ot＝o按照贝叶斯法则进行如下更新： 步骤1-8、确定奖励RtI,x,y，RtI,x,y的计算公式为： 其中rts,x,y为时隙t开始时刻时，次发送端采取动作所获得的即时奖励，即 由上式可看出，RtI,x,y和rts,x,y与时隙t无关，因此可简写为RI,x,y、rs,x,y；步骤1-9、信道接入策略π由一系列从当前置信状态到当前时隙动作的映射函数得出，即： 可见π属于确定性策略，将所有可能π的集合标记为П；步骤2、基于决策过程Zt，通过次发送端采用策略π时的长期平均奖励来确定次用户吞吐率指标ψπ，计算公式为： 步骤3、基于决策过程Zt，假设过程中的状态是完全可观测的，并使用Q-函数作为迭代过程中所使用价值函数的近似，利用QMDP算法确定感知接入动作at，利用QMDP算法确定感知接入动作at的方法为：由于无限时域POMDP无法精确求解，只可应用有限时域精确价值迭代算法求解近优策略，然而置信状态空间随着时间呈指数增长，导致计算复杂度也随指数增长，仍难以应用于实际场景，故采用基于QMDP算法的次优策略求解，其具体步骤如下：步骤3-1、设置t＝T，对于所有计算时隙T次发送端的状态为s时采取动作a＝x,y的价值QTs,x,y，QTs,x,y＝rs,x,y步骤3-2、若t＝1，执行步骤3-4；否则，设置t＝t-1，执行步骤3-3；步骤3-3、对于所有根据下式计算时隙t次发送端的状态为s时采取动作a＝x,y的价值Qts,x,y，之后返回执行步骤3-2； 步骤3-4、对于任意时隙t与置信状态It，获得πsub在置信状态It时的动作at＝xsub,ysub： 其中πsub即基于QMDP算法求解出的次优策略。

全文数据：

权利要求：

百度查询： 南京理工大学 一种时限约束下的能量收集认知无线电网络接入方法